- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hdfs相关知识点
HDFS组成架构1）NameNode：就是Master，是一个主管，管理者（1）管理HDFS的名称空间（2）配置副本策略（3）管理数据块映射信息（4）处理客户端读写请求2）DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作（1）存储实际的数据块（2）执行数据块的读写操作3）Client：就是客户端（1）文件切分。数据上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传（2）与NameNode交互，获取文件的具体信息（3
2021-04-28 19:23:43
283
原创 读书笔记之＜一＞ - - - Spark内置RPC框架
Spark内置RPC框架RPC框架的基本架构TransportContext内部包含传输上下文的配置信息 TransportConf 和对客户端请求消息进行处理的RPCHandler。
2021-02-02 22:29:47
142
原创 Gson 中对象类型的相互转换
最近使用Gson来处理了json串，使用了一些常用的方法，为加深印象，因此记录下来package JsonObjectDemo;import com.google.gson.*;import com.google.gson.reflect.TypeToken;import java.util.ArrayList;import java.util.List;public class JsonObjectDemo { public static void main(String[] a
2021-01-09 10:56:35
1628
2
原创 hue中查看oozie中workFlows里的任务log时为空
问题描述：生产环境中发现之前正常运行的任务，突然在oozie中查看不到log日志，甚是诡异首先想到的是日志文件不输出肯定是日志采集log4j出现了问题，要么是谁操作了该文件，要么是重新配置了日志的输出级别导致日志不显示。接下来去验证了之前的猜想。文件齐全且级别为info。此时脑子里的第一回应是 "不应该呀,难道是灵异事件？" 不对，事出必有因，百因必有果，你的报应就是我。。。 啥玩意？？？对比了其他环境中的配置文件，oozie-env.sh 、oozie-log4j.properti..
2020-11-24 11:02:56
362
原创 idea常用配置收集
idea常用配置设置鼠标悬浮提示 File -> Settings -> Editor ->General -> 勾选 Show quickdocumentation on mouse move显示方法的分隔符 File -> Settings -> Editor -> Appearance 勾选忽略大小写提示 File ->Setings -> Editor -> General -> Code Completion
2020-11-09 23:39:52
122
原创 es7.0.1安装
ES安装官网获取指定版本的EShttps://www.elastic.co/guide/en/elasticsearch/reference/7.0/getting-started-install.html解压 tar -zxvf xxxx修改 elasticsearch.ymlcluster.name: lzk_esnode.name: node-1path.data: /opt/module/elasticsearch/datapath.logs: /opt/module/elastic
2020-10-28 17:04:57
152
原创 spark2.2.0源码分析
程序入口，前面参数初始化略过 。。。。首先调用createSparkEnv 创建env// Create the Spark execution environment (cache, map output tracker, etc)_env = createSparkEnv(_conf, isLocal, listenerBus)SparkEnv.set(_env)1.首先来看listenerBus事件对象事件监听模式 事件源时间监听器sparkContext中初始化该LiveListe
2020-10-09 11:44:37
86
原创 spark2.2.0源码环境搭建
概述本文主要记录在win10环境下编译spark源码过程中的主要步骤，中间涉及一些问题导致运行example例子未成功，因此记录下来加深印象。话不多说，开始记录。环境准备jdk version ：1.8scala version ：2.10.0maven version ：3.3.9spark version ： 2.2.0step1在一切准备妥当之后，就可以动手了，首先下载spark源码，可以去官网下载源码包，也可以去github上下载源码包，我使用命令方式来下载。进入你需要存放源
2020-09-29 18:47:46
329
原创 查看服务器cpu核数信息
一：查看cpu信息cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c二：查看物理cpu个数，也就是实物cpu的个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l三：查看每个cpu的core，也就是常说的核心数cat /proc/cpuinfo| grep "cpu cores"| uniq四：查看服务器总的核心数，也就是逻辑cpu个数 == (物理cpu个数...
2020-08-17 11:04:22
12623
原创 sparkStreaming之流状态更新算子updateStateByKey&mapWithState
闲来无事，看到了updateStateByKey&mapWithState两个算子，本着学而不思则罔，思而不学则殆的精神， 写了个小demo测试了一下加深印象，将他们收入脑中updateStateByKey按照惯例，首先来看官网解释1：updateStateByKey算子归属于 Transformations on DStreams。2：需要一个func作为入参，通过对之前 "state" 的每个key作用于这个func，返回一个 “新状态” 的DStream /**
2020-08-11 17:34:32
256
原创 mysql-5.7.22-1.el7.x86_64.rpm-bundle.tar 安装
https://blog.csdn.net/qq_38384568/article/details/80711762安装完后需要对外提供服务select user,host from mysql.user;如果没有"%"这个host值,执行下面语句:update user set host='%' where user='root';flush privileges;任意主机以root用户连接mysqlGRANT ALL PRIVILEGES ON *.* TO 'root'@'
2020-07-30 09:31:25
1019
原创 hive清空外部表的三种方式
本文总结hive中清空外部表的三种方式hive版本：2.1.1环境准备新建一张外部表：create external table test_external(name String,age int,sex String) stored as orc;插入数据：insert into table test_externalvalues("johnson",18,"男");查看数据：如果此时使用truncate 命令的话，会抛出错误信息FAILED: Semantic...
2020-06-23 14:34:01
14995
原创 hive2.1.1读取spark写入的orc:ORC split generation failed with exception:ArrayIndexOutOfBoundsException: 6
问题描述：使用spark读取kafka数据写入hive orc格式表时，数据能正确写入，但是当在hive客户端查询的时候出现错误Failed with exception java.io.IOException:java.lang.RuntimeException: ORC split generation failed with exception: java.lang.ArrayIndexOutOfBoundsException: 6cdh version：6.1.1spark versio
2020-06-19 18:08:50
7607
17
原创 hive2.1.1源码编译及调试
本文主要介绍hive2.1.1版本编辑及调试的一些基本配置。内容参考网上各博主的一些文章，自己搭建环境进行测试，故记录下配置步骤，以供有需要的人使用，避免踩坑。hive2.1.1源码编译步骤一：下载apache-hive-2.1.1-src.tar.gz源码包二：解压 tar -zxvf apache-hive-2.1.1-src.tar.gz三：执行命令 mvn clean install -DskipTests clean 清除产生的项目 install 在本地Reposito...
2020-06-16 15:48:11
1673
原创 eclipse调试hive源码warn提示 hive.metastore.model.MVersionTable has no table in the database
问题描述：eclipse中调试hive2.1.1源码时，出现warn情况，但是hive-cli未正常启动错误信息如下：2020-06-16 10:35:22,636 INFO [main] DataNucleus.JDO (Log4JLogger.java:info(87)) - Exception thrownIdentifier name is unresolved (not a static field)org.datanucleus.exceptions.NucleusUserExce.
2020-06-16 10:46:10
1050
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人