海涛高软

log4j.rootLogger = info,Dlog4j.appender.D = org.apache.log4j.DailyRollingFileAppenderlog4j.appender.D.File = /rizhi/generateLoggx.loglog4j.appender.D.DatePattern='.'yyyy-MM-dd-HH-mmlog4j.appender.D.layout = org.apache.log4j.PatternLayoutlog4j.append.

修改办法FR：徐海涛（hunk Xu）QQ技术交流群：386476712

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例FR：徐海涛（hunk Xu)

输入mysql -u root -p 回车，然后再输入密码，再回车，就报下面错误 Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)输入hive报以下错误Logging initialized using configuration in jar:file:/usr/local/hive-1.2.2/lib/hive-common-1.2.2.jar!/hive-log...

创建表a:create table a(name string,count int,year int,mon int ,day int,hour int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';下面准备一份数据xuhaitao,15,2020,10,01,6hunkxu,9,2020,10,01,9xuhaitao,13,2020,10,01,9hunkxu,19,2020,10,01,19xiaotao,2,2020,10,0.

创建表a:create table a(name string,age int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';创建表b:create table b(name string,count int,year int,mon int ,day int,hour int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ',';创建临时表temp:create table temp ...

报错截图如下：解决办法：rm -rf /root/.ssh/known_hosts然后再进行免密登录操作，就没问题了FR：徐海涛（hunk Xu)QQ技术交流群：386476712

FR：徐海涛（hunk xu)QQ技术交流群：386476712

create table biao001(id int,name string,age int) row format delimited fields terminated by ',';FR:徐海涛（hunk Xu)QQ技术交流群：386476712

安装文章使用 zkCli.sh 这个命令 启动shell客户端下面是常用ls /create -s /haitao1 5566 //创建一个序列化节点create -e /haitao2 6677 //创建一个临时节点get /haitao1 //获取 /haitao1 的节点值get -w /haitao1 //获取 /haitao1 的节点值，并且对此节点添加监...

安装参照安装完成后 可以使用下面命令向hdfs上传文件hdfs dfs -put 资源linux路径 hdfs路径可以通过网页访问hdfs状况http://machine01:50070 进入yum -y install treeFR:徐海涛QQ技术交流群：386476712...

1 如果创建同名的文件夹，则会自动在命名后添加当前时间 名字+年月日时分秒2 如果在文件夹里上传内容FR：徐海涛（hunk Xu)QQ技术交流群：386476712

到底什么是CDN？FR:徐海涛（hunk Xu）QQ技术交流群：386476712

下载地址：http://spark.apache.org/downloads.html下载压缩包，上传到 /usr/local，解压缩 重命名mv spark-2.4.3-bin-hadoop2.7 spark-2.4.3cd spark-2.4.3/confmv spark-env.sh.template spark-...

具体参考这https://mp.csdn.net/postedit/90144607FR：徐海涛（hunk Xu)

设置设置后就不会出现短时间没有操作连接超时的局面，要求需要再次重连的问题FR:徐海涛（hunk Xu）QQ技术交流群：386476712

Zookeeper下载地址下载 解压 重命名配置 zoo.cfg文件在dataDir文件夹内建一个myid文件myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id集群每一台机器使用相同的 zoo.cfg 配置配置一下Zookeeper的环境变量z...

本篇文章参考 这篇文章flume安装比较简单： 解压+在配置文件flume-env.sh中配置JAVA_HOME环境变量FR：徐海涛（hunk Xu)QQ技术交流群：386476712

本次准备三台阿里云的服务器，centos的版本是：7.7.1908开始安装jdk,本次安装jdk版本1.8.0_221下载jdk https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html将下载后的压缩包，放到 /usr/local目录下，通过SecureCRT...

在上一篇文章大数据平台的搭建(基本环境配置) 基础环境配置(jdk，免密登陆)搭建完成后开始搭建hadoop 参照这一篇安装包放在 /usr下 ，然后解压，解压完成后删掉压缩包配置环境变量，ok后，然后source一把，使环境变量生效切换到/usr/hadoop-2.7.6/etc/hadoop这个目录下配置hdfs-site.xml这个文件...

kafka地址：http://kafka.apache.org/在pom.xml文件中添加下面的依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <versio...

虚拟机版本：VM15Linux系统： CentOS6.5其它工具：Xshell WinSCPSecureCRT 8.5关于局域网配置 、主机名映射 、上网 、免密配置 、jdk安装 、环境变量配置 ，参考下面这篇文章https://blog.csdn.net/qq_15267341/article/details/89630802vi /et...

安装docker：yum install -y dockersystemctl start dockersystemctl enable dockerdocker versionsystemctl start docker.serviceexit 退出dockerdocker pull 镜像 默认是到docker官方仓库中去下载镜像，下载速度很慢所以需要做镜像加...

multi开始事务exec提交事务不保证事务的原子性 ，一条命令执行失败，其后的命令仍然可以被执行先watch 某个key ，然后紧接着使用multi开启一个事物，在使用exec提交事务时，首先看其它人有没有动被watch的key，如果动了，那么整个事务全部会提交失败下面说说redis.conf这个配置文件常见的配置timeout : 0默认是0表示不关闭连接...

FR：徐海涛(hunk Xu)QQ技术交流群：386476712

yum install -y mysql-servercentos7下面，会出现没有可用包解决办法先执行下面三步让，然后再安装yum -y install wgetwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-community-release-el7-5...

方法一：vi /etc/profile 配置source /etc/profile 使环境变量生效方法二：vi ~/.bashrh 配置source ~/.bashrc 使环境变量生效上面两个文件中选任何一种文件配置环境变量都行FR：海涛高软（hunk Xu)QQ技术交流群：386476712...

首先要汇总hdfs java开发的Jar包使用WinSCP,可以将Hadoop安装下的开发Jar包下载下来右键，运行项目结果hadoop002:50070 查看hdfs文件系统右键运行时，有时会报如下错误解决办法：namenode节点上执行 ： hdfs dfs -chmod -R 777 /FR：徐...

1.下载linux:发行版 Ubuntu REdHat centos Debain Fedora,SUSE,OpenSUSEcentos 6.xcentos 7.x在虚拟机(VmWare)上 安装linux(centos6.5/6.8) centos：CentOS-6.8-x86_64-bin-DVD1.iso ，http://archive.kernel.org/cento...

VM版本：VMware® Workstation 15 Procentos版本：CentOS-6.5-x86_64-bin-DVD1.iso.centos网络配置 bigdata01: 192.168.2.128 192.168.2.1（网关） bigdata02 192.168.2.129 192.168.2.1（网关） bigdata03 192.168.2.130 19...

安装VMware Tools主要是为了实现主机和vmware之间的复制和粘贴vmTool安装成功可以将桌面的压缩包和解压文件删除了重启电脑即可FR:徐海涛（hunk Xu）QQ技术交流群：386476712...

文章1最主要的方面：Hadoop使用磁盘作为中间交换的介质，而storm的数据是一直在内存中流转的。两者面向的领域也不完全相同，一个是批量处理，基于任务调度的；另外一个是实时处理，基于流。以水为例，Hadoop可以看作是纯净水，一桶桶地搬；而Storm是用水管，预先接好（Topology），然后打开水龙头，水就源源不断地流出来了。Storm保证每个消息都会得到处理，而且它很快——...

FR：徐海涛（hunk Xu)QQ技术交流群：386476712

既然flume 操作 hdfs ， 就需要对应的jar，就要到hadoop安装目录下的share目录下查找使用winscp软件将jar文件考本到windows本地桌面上将上面jar文件拷贝到flume安装目录下的lib目录下接下来写flume-hdfs.conf配置文件切换到flume目录的job目录 cd /usr/local/flume/jo...

https://www.jianshu.com/p/5c20e5bc402c再谈Spark Streaming Kafka反压batchDuration ：每隔batchDuration秒，切分成一个数据块(RDD)上图中数据流也可以抽象为DStream，其内部也是很多RDD的集合注意batchDuration和批处理时间的差别有几个问题：batchDu...

Maven下载地址:http://maven.apache.org/download.cgi開發工具：eclipse mars.2maven版本：3.6.1%MAVEN_HOME%\bin下载且配置完后，在黑窗口中输入mvn -v，出现如下版本信息 表明环境配置成功 <localRepository>D:\maven_...

Kafka安装:https://blog.csdn.net/qq_15267341/article/details/90144607在kafka安装目录下：敲击如下的目录find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'FR:徐海涛（hunk Xu）QQ技术交流群：386476712...

Kafka安装：https://blog.csdn.net/qq_15267341/article/details/90144607下面具体测试一下：首先切换到kafka目录下的bin目录下，然后执行下面的命令创建主题./kafka-topics.sh --create --zookeeper hadoop002:2181 --topic xuguozhu --partiti...

Spark软件下载地址：https://archive.apache.org/dist/spark/FR：徐海涛（hunk Xu）QQ技术交流群：386476712

scala下载: https://www.scala-lang.org/download/注意scala版本和kafka版本要搭配，在kafka下载的地址里就可以看见kafa下载：http://kafka.apache.org/downloads将kafka和scala软件包下载到 /usr/local 目录下scala安装比较简单，解压缩和重命名，配置环境变...