qq_44676946的博客

配置maven时直接配置archetypeCatalog （一劳永逸）-DarchetypeCatalog=internal

因为在使用shell连接虚拟机时连接等待时长太长，ssh的服务端在连接时会自动检测dns环境是否一致导致的，修改为不检测即可。1.执行vi /etc/ssh/sshd_config把UseDNS yes,改为UseDNS no2.重启SSHD服务systemctl restart sshd 或 service sshd restart...

解决办法:pom文件org.apache.hadoophadoop-client2.6.0该为对应的版本我2.7.3改为2.6.0就解决了Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState': at org.apache.spark.sql.SparkSession$.org$a

第1章 Zookeeper概述1.1 概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式Zookeeper=文件系统（可以在zk上存储数据）+通知机制1.2

Sqoop一、 Sqoop安装\1) 将Sqoop安装包上传到虚拟机并进行解压：[root@cent71 module]# tar -zxf sqoop-1.4.7.tar.gz -C /opt/software/\2) 修改配置文件sqoop-env.sh：[root@cent71 conf]# cp sqoop-env-template.sh sqoop-env.sh#Set path to where bin/hadoop is availableexport HA

Kafka的原理及安装1. Kafka原理2. Kafka安装\1) 上传到虚拟机，解压：[root@cent71 module]# tar -zxf kafka_2.11-0.10.2.2.tgz.gz -C /opt/software/\2) 在安装目录下新建logs文件夹：[root@cent71 kafka_2.11-0.10.2.2]# mkdir logs\3) 修改配置文件config/server.properties：#broker的全局唯一

1 ‘ Mysql安装1.1 安装包准备1． 查看mysql是否安装，如果安装了，卸载mysql（1） 查看是否已经安装过mysql的相应包# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64（2） 卸载# rpm –e --nodeps mysql-libs-5.1.73-7.el6.x86_642． 安装zip工具：#yum install

1 HBase安装1.1 HBase基本原理见PPT。1.2 HBase安装1 解压[root@cent71 module]# tar -zxf hbase-1.3.2-bin.tar.gz -C /opt/software/2 修改hbase-env.sh文件：export JAVA_HOME=/opt/software/jdk1.8.0_152export HBASE_MANAGES_ZK=false3 修改hbase-site.x

Flume的原理及安装（日志采集工具）1 Flume原理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QbVOiE72-1647349435640)(file:///C:/Users/MEETAG~1/AppData/Local/Temp/msohtmlclip1/01/clip_image002.jpg)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xSm5FZ6d-1647349435641)(file:///C:/Users

课程介绍大数据基本介绍4V特征体量大：体量庞大高速：数据产生速度快、存储速度快、处理速度快多样化：数据的种类和来源多样化。结构化、非结构化、半结构化数据价值：密度低。体量庞大，有价值的数据相对来讲比较少Hadoop平台特点低成本、高可靠性、高效性、可扩展性课程所需环境Vmware+CentOS7注意：本门课程的Linux系统与其他课程分开XShell、SecureCRT：连接虚拟机，进行指令操作winSCP：在Windows和Linux之间进行文件传输notePad++：文本编辑

数据仓库-Hive数据仓库1.1. 基本概念英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为：面向分析的存储系统。1.2. 主要特征数据仓库是面向主题的（Subject-Oriented ）、集成的（Integ

git入门

大一写的，今天整理资料翻到了，仅作纪念。《学生成绩管理系统》一、学生成绩管理系统实现环境：JDK1.8,ECLIPSE 4.4.2;二、功能：0、成绩管理系统的界面实图1、录入10个学生信息（学号、姓名、性别、各门课程成绩）输出10个学生信息。2、计算每个学生高数、英语、java课程的总成绩和平均成绩并输出、计算各门课程的总成绩和平均成绩并输出。3：排序，根据学生的总成绩按降序排列，并输出排序后的结果。4：分别输出高数、英语、Java课程不及格学生的人数、不及格学生的信息。5：根据给

大一学的HTML概述、今日整理资料翻到了，仅供参考。曾几何时，我百度了无数个问题，无数个人给了我帮助，非常感谢。

Spark编程之基本的RDD算子之zip，zipPartitions，zipWithIndex，zipWithUniqueId1） zip拉链操作首先来看一下基本的api。def zip[U: ClassTag](other: RDD[U]): RDD[(T, U)]1自身的RDD的值的类型为T类型，另一个RDD的值的类型为U类型。zip操作将这两个值连接在一起。构成一个元祖值。RDD的值的类型为元祖。都是第i个值和第i个值进行连接。zip函数用于将两个RDD组合成Key/Value形式

单例模式原文链接：https://www.kuangstudy.com/bbs/1374623824745635841单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。注意：1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一实例。

问题描述：属性名称和数据库中的字段名称不一致，查询出来的结果为nullJava中的实体类设计：public class User { private int id; //id private String name; //姓名 private String password; //密码和数据库不一样！ //构造 //set/get //toString()}数据库中的表设计：create table `user`( `id` IN

问题：后台开发人员经常使用Xshell来访问远程服务器，在用vim（或vi）编辑文件的时，使用小键盘数字键的时候，可能会输入一堆字母和换行，并不是数字。修改：1.修改会话属性[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jhQ0BjfL-1621928102680)(C:\Users\MeetAgain\AppData\Roaming\Typora\typora-user-images\image-20210525153251198.png)]2.选择类别“终端”

BufferedReader bufferedReader = new BufferedReader(new FileReader("文件名")) // 指定需要缓存一个文件到所有的maptask运行节点工作目录 /* job.addArchiveToClassPath(archive); */// 缓存jar包到task运行节点的classpath中 /* job.addFileToClassPath(file); */// 缓存普通文件到task运行...

Spark的算子的分类从大方向来说，Spark 算子大致可以分为以下两类:1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。2）Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。Action 算子会触发 Spark 提交作业（Job），并将数据.