qq_40493738的博客

1.首先用sqoop将mysql数据定时导入到hdfs中，然后用spark streaming实时读取hdfs的数据，并把数据写入elasticsearch中。代码如下------bigdata.project.spark----------package bigdata.project.sparkimport org.apache.spark.{SparkConf, SparkContex...

用sqoop连接mysql并展示数据表sqoop list-databases --connect jdbc:mysql://192.168.56.1:3306/mysql --username root --password root将mysql数据一次性导入到hdfs，其中–target-dir后面跟的是存入hdfs文件的路径sqoop import --connect jdb...

1.创建sqoop job 数据增量导入作业但是这种方法把密码暴露在外面，不安全sqoop job --create myjob -- import --connect jdbc:mysql://192.168.56.1:3306/fangsou --username root --password root --table ershoufang -m 1 --target-dir /hom...

用sqoop定时增量读取mysql数据并导入hdfs中，通常在linux平台启动hdf后，然后输入sqoop job --show myjob通常会显示正确的信息，但是有时候会报错，信息如下[root@hadoop bin]# ./sqoop job --show myjob19/06/02 11:48:21 INFO sqoop.Sqoop: Running Sqoop version...