Hadoop 存储数据

已于 2023-06-29 01:26:14 修改
阅读量150 收藏
点赞数
文章标签： hadoop 数据库 java
于 2023-06-23 18:34:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2201_75369019/article/details/131344635
版权

目录

部署一个Mysql数据库，要求可以远程访问一、在Centos7安装MySQL5.71.安装mysql repo: ​

 ​2.在线安装mysql: 

3.启动MySQL的mysqld进程（该进程是MySQL的服务端进程）：

4.查看MySQL服务端是否启动成功：

5.登录mysql注：Mysql5.7默认安装之后root是有密码的。

5.1 获取MySQL的临时密码

5.2登陆#第一次登录后需要修改密码才可以继续使用mysql 

5.3修改密码注：如果密码设置太简单出现以下的提示

根据题目要求：

创建一个Configuration对象，任何作用的配置信息通过Configuration传递

注意 以下的20210322094--master为虚拟机中的名字。 可自行更改

永远获取前一天的时间：

查看数据库下文件。

创建Job的对象并用Job的静态方法.getInstance

创建两个类的对象

总结：

部署一个Mysql数据库，要求可以远程访问
一、在Centos7安装MySQL5.7
1.安装mysql repo: 
​

rpm -ivh http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm


 

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022


 
​
2.在线安装mysql: 

yum install -y mysql-community-client mysql-community-devel mysql-community-server


3.启动MySQL的mysqld进程（该进程是MySQL的服务端进程）：

systemctl start mysqld


4.查看MySQL服务端是否启动成功：

systemctl status mysqld


5.登录mysql
注：Mysql5.7默认安装之后root是有密码的。

5.1 获取MySQL的临时密码
cat /var/log/mysqld.log | grep "password"


 这里获取的临时密码每台计算机不同，可以自行查看你的密码。

5.2登陆
#第一次登录后需要修改密码才可以继续使用mysql
 
mysql -u root -p

5.3修改密码
注：如果密码设置太简单出现以下的提示

如：ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

如何解决ERROR 1819 (HY000): Your password does not satisfy the current policy requirements呢？

提供一个方法：

修改两个全局参数： 
首先，修改validate_password_policy参数的值

set glodal validate_password_policy=0;


 再修改密码的长度:

set global validate_password_length=1;


 

 再次执行修改密码就可以了

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

根据题目要求：

        编写一个MapReduce程序，每天凌晨2点统计前一天的新能源车辆数据是否有重复数据（所有字段都相同的两条数据则认为是重复数据），并将有重复数据的车辆信息写入到第一题的Mysql数据库的repeat表中（表必须包含字段：数据生成日期、车架号、重复次数。比如2023-01-01这一天，vin0001有两条重复数据，则mysql表中的记录则为2023-01-01、vin0001、2）；

在IDEA中创建一个 RepetitionData 类。在类中打入代码。 

创建一个Configuration对象，任何作用的配置信息通过Configuration传递

 Configuration conf =  new Configuration();

设置fs.defaultFS属性，告诉hdfs的路径。

注意 以下的20210322094--master为虚拟机中的名字。 可自行更改

conf.set("fs.defaultFS","hdfs://20210322094--master:9000");

永远获取前一天的时间：

       SimpleDateFormat tempDate = new SimpleDateFormat("yyyy-MM-dd");
        Calendar calendar = new GregorianCalendar();
        calendar.add(calendar.DATE, -1);
        String tomorrow = tempDate.format(calendar.getTime());

查看数据库下文件。

        //数据的路径，文件以hdfs路径为主
        String input = "/wyndata/"+tomorrow+"/*.json";
        //输出的路径，文件以hdfs路径为主
        String out = "/wyndata2/repeat/"+tomorrow;

创建Job的对象并用Job的静态方法.getInstance

 Job job = Job.getInstance(conf,"json to mysql");
        //设置job所用的类在哪个包或者类下
        job.setJarByClass(RepetitionData2.class);
        //设置实现Mapper类的类名称
        job.setMapperClass(MyMapper.class);
        //设置实现Reducer类的类名称
        job.setReducerClass(MyReducer.class);

        //设置Mapper输出到Reducer的key类型
        job.setMapOutputKeyClass(Text.class);
        //设置Mapper输出到Reducer的value类型
        job.setMapOutputValueClass(Text.class);

        //设置Reducer输出的key类型
        job.setOutputKeyClass(NullWritable.class);
        //设置Reducer输出的value类型
        job.setOutputValueClass(NullWritable.class);

        //指定要处理的输入路径
        FileInputFormat.addInputPath(job,new Path(input));
        //指定要处理的输出路径
        FileOutputFormat.setOutputPath(job,new Path(out));
        //将job交给集群运行
        job.waitForCompletion(true);
    }

创建两个类的对象

（一）

    static class MyMapper extends Mapper<LongWritable,Text,Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //创建gson对象
            Gson gson = new Gson();
            //将json数据转换为对象
            Datas datas = gson.fromJson(value.toString(),Datas.class);
            //StringUtils.substringBefore截取字符串，删除：后面的字符串，保留日期
            String sss = StringUtils.substringBefore(datas.collectTime,":");
            //字符串拼接
            String ss = sss+","+datas.vin;
            //将日期和车号作为key，全部数据作为value传入下阶段
            context.write(new Text(ss),value);
        }
    }

（二）

 static class MyReducer extends Reducer<Text,Text, NullWritable,NullWritable>{
        //创建Connection类对象
        private Connection conn;
        public MyReducer() {
            try {
                // 导入驱动jar包
                // 注册驱动
                Class.forName("com.mysql.cj.jdbc.Driver");
                //定义字符串内容为mysql地址 mydata表示数据库名称，可以改变
                String url = "jdbc:mysql://192.168.65.3:3306/wyndata?serverTimezone=UTC&characterEncoding=utf-8&useSSL=false";
                //获取数据库连接对象
                this.conn = DriverManager.getConnection(url,"root","Aa123-456");
            }catch (Throwable e){
                System.out.println(Throwables.getStackTraceAsString(e));
            }
        }
  @Override
        protected void reduce(Text key, Iterable<Text> values,Context context) throws IOException, InterruptedException {
            //创建HashMap,为将values的值去重和添加数据重复的条数
            HashMap<Text,Integer> map = new HashMap<>();
            int sum=0;
            //将传入的数据values进行遍历
            for (Text val:values){
                //判定这个map是否有val，如果有则map的key不变，value+1，代表有重复值；没有则将val添加到key，将1赋予给value，代表没有重复值
                if (map.containsKey(val)){
                    map.put(val,map.get(val)+1);
                }else {
                    map.put(val,1);
                }
            }
            //在对map的values进行遍历，不管value的值为多少，只要map的value>1,则是重复值的，sum+1
            for (Integer value : map.values()) {
                if (value>1){
                    sum+=1;
                }
            }
            //由于key的值是日期+车号，所以对其用split方法进行字符串分割，为接下来传入mysql内容做准备
            String[] a = key.toString().split(",");
            String sql = "insert into `repeat` values(?,?,?)";
            try {
                if (sum>0){
                    PreparedStatement preparedStatement = this.conn.prepareStatement(sql);
                    preparedStatement.setString(1, a[0]);
                    preparedStatement.setString(2,a[1]);
                    preparedStatement.setInt(3,sum);
                    preparedStatement.execute();}
            }catch (Throwable e){
                Throwables.getStackTraceAsString(e);
            }
        }
    }
    public static class Datas{
        String collectTime;
        String vin;
        public Datas(String collectTime, String vin) {
            this.collectTime = collectTime;
            this.vin = vin;
        }
    }
}

总代码：

package 作业三第一小题;


import com.google.common.base.Throwables;
import com.google.gson.Gson;
import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.GregorianCalendar;
import java.util.HashMap;


public class RepetitionData2 {
    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //创建一个Configuration对象，任何作用的配置信息通过Configuration传递
        Configuration conf =  new Configuration();
        //设置fs.defaultFS属性，告诉hdfs的路径
        conf.set("fs.defaultFS","hdfs://20210322094--master:9000");

        //永远获取前一天的时间
        /// yyyy表示年份mm表示月份dd表示日期
        SimpleDateFormat tempDate = new SimpleDateFormat("yyyy-MM-dd");
        Calendar calendar = new GregorianCalendar();
        calendar.add(calendar.DATE, -1);
        String tomorrow = tempDate.format(calendar.getTime());

        //数据的路径，文件以hdfs路径为主
        String input = "/wyndata/"+tomorrow+"/*.json";
        //输出的路径，文件以hdfs路径为主
        String out = "/wyndata2/repeat/"+tomorrow;

        //创建Job的对象并用Job的静态方法.getInstance(Configuration对象,"随意取名称")
        Job job = Job.getInstance(conf,"json to mysql");
        //设置job所用的类在哪个包或者类下
        job.setJarByClass(RepetitionData2.class);
        //设置实现Mapper类的类名称
        job.setMapperClass(MyMapper.class);
        //设置实现Reducer类的类名称
        job.setReducerClass(MyReducer.class);

        //设置Mapper输出到Reducer的key类型
        job.setMapOutputKeyClass(Text.class);
        //设置Mapper输出到Reducer的value类型
        job.setMapOutputValueClass(Text.class);

        //设置Reducer输出的key类型
        job.setOutputKeyClass(NullWritable.class);
        //设置Reducer输出的value类型
        job.setOutputValueClass(NullWritable.class);

        //指定要处理的输入路径
        FileInputFormat.addInputPath(job,new Path(input));
        //指定要处理的输出路径
        FileOutputFormat.setOutputPath(job,new Path(out));
        //将job交给集群运行
        job.waitForCompletion(true);
    }
    static class MyMapper extends Mapper<LongWritable,Text,Text, Text>{
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //创建gson对象
            Gson gson = new Gson();
            //将json数据转换为对象
            Datas datas = gson.fromJson(value.toString(),Datas.class);
            //StringUtils.substringBefore截取字符串，删除：后面的字符串，保留日期
            String sss = StringUtils.substringBefore(datas.collectTime,":");
            //字符串拼接
            String ss = sss+","+datas.vin;
            //将日期和车号作为key，全部数据作为value传入下阶段
            context.write(new Text(ss),value);
        }
    }
    static class MyReducer extends Reducer<Text,Text, NullWritable,NullWritable>{
        //创建Connection类对象
        private Connection conn;
        public MyReducer() {
            try {
                // 导入驱动jar包
                // 注册驱动
                Class.forName("com.mysql.cj.jdbc.Driver");
                //定义字符串内容为mysql地址 mydata表示数据库名称，可以改变
                String url = "jdbc:mysql://192.168.65.3:3306/wyndata?serverTimezone=UTC&characterEncoding=utf-8&useSSL=false";
                //获取数据库连接对象
                this.conn = DriverManager.getConnection(url,"root","Aa123-456");
            }catch (Throwable e){
                System.out.println(Throwables.getStackTraceAsString(e));
            }
        }

        @Override   //该方法能使Reducer结束后被调用一次，重写其，使资源关闭
        protected void cleanup(Reducer<Text, Text, NullWritable, NullWritable>.Context context) throws IOException, InterruptedException {
            try {
                this.conn.close();
            }catch (Throwable e){
                System.out.println(Throwables.getStackTraceAsString(e));
            }
        }

        @Override
        protected void reduce(Text key, Iterable<Text> values,Context context) throws IOException, InterruptedException {
            //创建HashMap,为将values的值去重和添加数据重复的条数
            HashMap<Text,Integer> map = new HashMap<>();
            int sum=0;
            //将传入的数据values进行遍历
            for (Text val:values){
                //判定这个map是否有val，如果有则map的key不变，value+1，代表有重复值；没有则将val添加到key，将1赋予给value，代表没有重复值
                if (map.containsKey(val)){
                    map.put(val,map.get(val)+1);
                }else {
                    map.put(val,1);
                }
            }
            //在对map的values进行遍历，不管value的值为多少，只要map的value>1,则是重复值的，sum+1
            for (Integer value : map.values()) {
                if (value>1){
                    sum+=1;
                }
            }
            //由于key的值是日期+车号，所以对其用split方法进行字符串分割，为接下来传入mysql内容做准备
            String[] a = key.toString().split(",");
            String sql = "insert into `repeat` values(?,?,?)";
            try {
                if (sum>0){
                    PreparedStatement preparedStatement = this.conn.prepareStatement(sql);
                    preparedStatement.setString(1, a[0]);
                    preparedStatement.setString(2,a[1]);
                    preparedStatement.setInt(3,sum);
                    preparedStatement.execute();}
            }catch (Throwable e){
                Throwables.getStackTraceAsString(e);
            }
        }
    }
    public static class Datas{
        String collectTime;
        String vin;
        public Datas(String collectTime, String vin) {
            this.collectTime = collectTime;
            this.vin = vin;
        }
    }
}

总结：

        在本节中，在虚拟机中把之前学到的MySQL运用到虚拟机并且访问数据库并展示出来，再IDEA使用代码，访问虚拟机，并把其中的数据运行出来。

db_wyn_2094
关注
修改MySQL默认密码的具体步骤
SmufHtml的博客
10-07 980
MySQL是一种广泛使用的关系型数据库管理系统，它默认安装后会生成一个初始密码。为了增强数据库的安全性，我们需要修改默认密码。下面是修改MySQL默认密码的详细步骤。请注意，如果你使用的不是root用户或者不是本地连接，需要相应地修改命令中的用户名和主机名。此外，确保你拥有足够的权限来修改密码。请确保密码的复杂度足够高，包含字母、数字和特殊字符，并且长度不少于8个字符。通过上述步骤，你已成功修改了MySQL数据库的默认密码。系统会提示你输入密码。如果是首次登录，默认密码为空，直接按回车键进入数据库。
hadoop迁移数据应用实例详解
10-16
在IT行业中，大数据处理和存储是一个关键环节，Hadoop作为开源的分布式计算框架，常用于处理大规模数据。本篇将详细阐述如何进行Hadoop数据迁移，包括虚拟机环境下的硬盘扩展以及Hadoop命令的使用。 一、虚拟机硬盘...
mysql初始密码
全杰的博客
04-17 1720
初始密码设置：mysql> UPDATE user SET password=PASSWORD(‘quanquan@7’) WHERE User=’root’; mysql> FLUSH PRIVILEGES;mysql登录：Mysql -P 端口号 -h mysql主机名\ip -u root （用户） -p
hadoop-05-mysql修改密码
weixin_33737134的博客
11-01 1128
hadoop-05-mysql修改密码 su root 1,service mysqld start 2,vi /var/log/mysqld.log #在这里面查找密码 3, mysql -uroot -p刚刚找到的密码 4，service mysqld stop 5，mysqld_safe --skip-grant-tables &amp; 6，mysql -uroot -p #不需要密码就登...
基于Hadoop的电影影评数据分析
04-04
Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心模块组成：分布式文件系统（HDFS）用于跨多个计算节点存储数据；MapReduce用于执行数据处理任务；Hadoop Common包含...
WPF+MVVM案例实战（十九）- 自定义字体图标按钮的封装与实现（EF类）
lingshuangcanxue
11-02 188
各种类型的自定义按钮实现
C# wpf 如何监控变量值改变?
zls365365的博客
11-01 434
在C# WPF应用程序开发中，监控变量值的改变是一项常见的需求。这可以通过多种方式实现，包括使用数据绑定、属性通知、消息传递等。本文将详细介绍几种常用的方法来监控WPF中的变量值改变。1. 使用数据绑定和属性通知WPF中的数据绑定机制允许UI元素与后台数据模型紧密绑定。通过实现INotifyPropertyChanged接口，可以在数据模型中监控属性值的改变。实现步骤1.1 创建数据模型首先，创建...
计算机毕业设计Hadoop+PySpark深度学习游戏推荐系统 游戏可视化 游戏数据分析 游戏爬虫 Scrapy 机器学习 人工智能 大数据毕设
最新发布
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-06 577
计算机毕业设计Hadoop+PySpark深度学习游戏推荐系统 游戏可视化 游戏数据分析 游戏爬虫 Scrapy 机器学习 人工智能 大数据毕设
Spark和Hadoop在数据处理方面有哪些主要差异
2402_84885073的博客
11-05 258
Spark和Hadoop在数据处理方面存在显著的主要差异，这些差异主要体现在处理速度、处理模型、生态系统与组件、以及资源管理与调度等方面。
WPF 特性------Binding
Nick_H 的专栏
11-01 290
【代码】WPF 特性------Binding。
Hadoop期末复习（完整版）
m0_74922316的博客
11-01 717
复习之前我们要有目的性，明确考什么，不考什么。对于hadoop来说，首先理论方面是跑不掉的，而且还是重中之重。例如：hdfs的读写流程，hdfs副本机制等等。其次是hadoop命令,如果学习了hadoop不了解hadoop dfs …和hdfs dfs …那么你可以重修了。最后要明确那一部分会出什么题。下面背景色或者字体改变的背过就完了。
Hadoop完全分布式环境搭建步骤
brucexia的专栏
11-05 664
本文介绍Hadoop完全分布式环境搭建方法，这个Hadoop环境用于安装配置Spark。假设读者已经安装好Visual Box 7.0.6虚拟环境与一个CentOS 7虚拟机（如果熟悉这两个步骤不，可以反馈给博主，博主将另外上个博文讲解）。下面直接从Linux的统一配置开始讲解。
oceanbase V4.2.2社区版集群离线部署
king_harry的专栏
11-01 776
版本，选择是上传文件，包含oceanbase-ce、oceanbase-ce-libs、oceanbase-ce-utils。关闭时展示，为 OBProxy 集群的访问地址，仅用于生成租户的连接串，不影响实际使用，需要自主配置负载均衡，如果是 VIP 地址，还需要您自主申请并绑定到 OBProxy Server。集群配置选项卡—更多配置—更改系统内存保留选项，默认是30G，如果测试机内存只有16G，则需要调小，本测试调整为2G，这样ocp-server安装不会失败。自定义待管理的集群的名称。
Redis实战-利用Lua解决批量插入防重方案
葵续浅笑的博客
11-01 1127
本文介绍了以Lua脚本为基础设计的防重和幂等方案。
Mysql数据库的UDF提权
CoffeMilk的博客
11-05 740
渗透人员编写可调用系统命令行（CMD或shell）的文件生成动态链接库（Windows系统是.dll；Linux系统是.so），且将该动态链接库内容上传到MySql的函数插件文件夹目录下；然后在通过sql语句调用该动态链接库创建一个自定义函数，最后直接调用该自定义函数sql执行查询系统命令，实现提权（即：在数据库中的查询就等价于直接在系统调用cmd或者shell中执行命令）
数据库 二
wjj20040809的博客
11-02 698
表与表的关系：核心表mysql/oracle、SQLServer(微软)SQL。
SpringSession源码分析
lkr_lkr的博客
11-01 349
默认对常规Session的理解和使用，如何使用Set-Cookie。
如何使用hadoop存储数据
07-08
要使用Hadoop存储数据，您可以使用Hadoop的分布式文件系统（HDFS）来存储大规模的数据。以下是使用HDFS存储数据的一般步骤： 1. 安装和配置Hadoop集群：首先，您需要设置一个Hadoop集群。这涉及安装Hadoop软件，并...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值