- 博客(19)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 2021-09-18 maven工程打包问题
工程打包package时候，如果出现报错如下：target 某某某文件 不存在或者不是个package说明你的工程目录路径存在中文，需要建在全英文的路径下。
2021-09-18 11:17:34
166
原创 mysql基础知识小记
数据库查询操作1、简单查询select ..from ...where ...group by ...having ...order by ...asc|desclimit (pageNo-1)*pageSize,pageSize-- 分页查询select ... limit (pageNo-1)*pageSize,pageSize;#聚合函数：avg min max count sum#分组查询可以出现在字段列表中的字段：参与分组的字段和聚合函数2、复杂查询子查询sel
2021-08-14 22:53:27
260
原创 centos7 的flink安装
环境配置 flink 1.11 之后开始支持hadoop3 flink-1.13.2-bin-scala_2.12.tgz解压tar xvf flink-1.13.2-bin-scala_2.12.tgz -C /opt/software/...配置环境变量#flinkexport FLINK_HOME=/opt/software/flink-1.13.2export PATH=$FLINK_HOME/bin:$PATH#flink on yarnexport HADOOP_CON
2021-08-09 16:56:24
561
原创 kafka—flume—consumer
以下一切数据都依据本人虚拟机的真实路径数据日志文件的路径/root/data/flume/prolog.log创建kafka主题kafka-topics.sh --create --topic prolog_02 --partitions 1 --replication-factor 1 --bootstrap-server singlebrown:9092创建flume配置文件vim /root/flume_job/logconf/flume02_kafka.confa1.source
2021-08-01 01:14:29
118
原创 spark Streaming 实时流
producer类（java）package cn.kgc.stock;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;import java.util.Properties;import java.util.
2021-08-01 01:10:02
88
原创 spark生产者和消费者（附完整代码）
创建工程scala maven添加依赖//版本号 <scala.version>2.12.10</scala.version> <spark.version>3.0.1</spark.version> <spark.scala.version>2.12</spark.scala.version><!-- scala--> <dependency> <gr
2021-08-01 01:05:15
433
原创 spark 操作 hive
依赖就不贴了，嘻嘻object SparkHive extends App { val spark: SparkSession = SparkSession.builder() .master("local[*]") .appName("spark_hive") .enableHiveSupport() .getOrCreate() //读取hive中数据表 /*spark.sql("select * from kb12.testsqoop")
2021-08-01 00:57:14
169
原创 spark处理本地文件数据
/**spark 根据本地文件来处理数据样例类+RDD创建DataFrame*/具体代码如下：object SparkFile { case class Record(shopId:String,date:String,volume:String) def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .master("local[*]").a
2021-08-01 00:52:52
460
原创 Spark 操作 Mysql（附代码）
创建工程选择spark的maven工程依赖（参考）先修改scala的版本为2.12.10<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.1.2</version> </dependency> <d
2021-08-01 00:49:37
1311
原创 2021-07-30Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon？
当我在搞centos的docker，拉取镜像源时候，遇到这样的错误我的解决方法是：systemctl daemon-reloadsudo service docker restartsudo service docker status sudo docker run hello-world
2021-07-30 02:24:09
81
原创 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver解决方案
我在学习zeppelin运用jdbc引擎操作mysql时候，运行%jdbcshow databases出现java.lang.ClassNotFoundException: com.mysql.jdbc.Driver报错解决方法在自己的jar_mgr目录下，找到apache-maven-3.5.4\repository\mysql\mysql-connector-java\5.1.47把这个依赖包复制到zeppelin的lib目录下我是放在了虚拟机的路径下然后去web运行，就成功了，如有
2021-07-26 20:57:00
405
原创 JDBC连接hive（附完整代码）
一、创建maven工程1、选择quickStart2、导入依赖（如下）——依赖定时检查更新<dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>${hive.version}</version> &
2021-07-24 19:23:58
3362
原创 JDBC连接Mysql(附完整代码)
一、创建maven工程1、选择quickStart2、导入mysql-connector-java的依赖<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency>二、程序以供参考1、先在根目录下创建config/jd
2021-07-24 16:32:03
770
2
原创 虚拟机spark安装
虚拟机上安装1、将spark-3.1.2-bin-hadoop3.2.zip安装包传到download2、解压 tar -zxvf spark-3.1.2-bin-hadoop3.2.zip -C /opt/software/3、改名：mv spark-3.1.2-bin-hadoop3.2 spark3124、进入：cd conf5、改名：mv spark-env.sh.template spark-env.sh6、vim spark-env.sh7、增加：export SPARK_MAS
2021-07-21 14:19:03
1084
原创 scala Array 算子
++: 和 +:val arr3 = arr1 ++: arr2//先导包scala> import scala.collection.mutable.ArrayBufferimport scala.collection.mutable.ArrayBufferscala> val arr1 = Array(1, 2, 3,5)arr1: Array[Int] = Array(1, 2, 3, 5)scala> val arr2 = ArrayBu
2021-07-12 19:12:06
262
原创 IDEA无法识别xml文件
IDEA无法识别xml文件xml文件是灰色的解决方法1、setting2、找到Editor里的file type3、在xml设置里看看有没有*/xml格式我遇到的坑是xml里没有*/xml格式，手动添加进去，就可以了。一般格式错误都是在这个设置里去检查错误。希望能帮助到大家！...
2021-07-07 18:58:18
1498
2
原创 CentOS7 HADOOP的安装
CentOs7 HADOOP的安装1、安装步骤：1、把Hadoop313拖进opt/downdoal下2、免密登录#解压hadoop文件tar -zxf hadoop-3.1.3.tar.gz -C /opt/software #重命名 mv /opt/sofware/hadoop* /opt/software/hadoop313cd~#设置密钥ssh-keygen -t rsacat /root/.ssh/id_rsa.pub>>/root/.ssh
2021-06-06 17:41:52
417
2
原创 vmware /centos7虚拟机的安装教程
centos虚拟机的安装前言一、安装VMware Workstation并打开二、具体安装步骤1.创建新的虚拟机安装虚拟机1.编辑虚拟机设置2.开启此虚拟机3.选择install centos安装，等待片刻好了，输入root和密码，就可进入虚拟机的世界啦！前言 这里介绍的是基于redhat的centos虚拟机的安装步骤。一、安装VMware Workstation并打开二、具体安装步骤1.创建新的虚拟机具体步骤参照一下图片选择这里的虚拟机内存选择依据你电脑的内存而定，如果
2021-05-24 19:21:18
144
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人