JINGXI的博客

1、报错Java.io.IOException:Premature EOF from inputStream可以看到是重演编辑日志时候出错了2、hadoop元数据目录Edits_ 编辑日志Fsimage_ 通过编辑日志合并而来的Edits_inprogress 正在往里写的编辑日志Seen_txid ...

完全分布式是由3个及以上的实体机或者虚拟机组建的机群。分布式各节点介绍namenodeNameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。但是这些信息也可以持久化到磁盘上。Secondarynamenode平时不工作，元数据进行合并时工作，工作时与namenode拥有相同多的内存。datan...

基本环境Linux，jdk开始配置hadoop首先配置hadoop环境变量sudo vim/etc/profile.d/hadoop.shexport HADOOP_HOME=/yourhadoop/binExport PATH=$PATH:$HADOOP_HOMESudo source /etc/profile伪分布式配置Unpack the dow...

单机模式安装准备环境，需要提前安装好jdk，准备好zookeeper安装包上传到用户目录下 安装工具使用rz命令进行上传，也可以使用xftp等工具上传安装rz $sudo yum install -y lrzsz（此命令仅限桌面环境使用ssh工具）Cd到zookeeper安装目录使用命令解压Tar -zxvf ~/zookeeper -C. 解压完...

1.Git、Github、GiteeGit 是一种版本控制系统，是一个命令，是一种工具。 Github 是一个基于git实现在线代码托管的仓库，向互联网开放，企业版要收钱。 Gitee 即码云，是 oschina 免费给企业用的，不用自己搭建环境。2.下载安装Githttps://github.com/git-for-windows/git/releases/...

规划Ssh信任配置方式Ssh信任配置方式Ssh-keygen -t rsa -P “12345678” Ssh-copy-id Copy zookeeper以及hadoop文件创建zookeeper/datas/myid文件 启动zookeeper 查看状态 zkServer.sh status //leader follower配置hadoop...

由于工作原因，博客没进行更新，不过文章的确写了，就是太懒不想排版，code21.cn可能不会更新了，服务器费用的确太贵场景模拟kafka实时json格式数据解析写入hive了解FlumeFlume中最重要的概念就是agent，数据流向基本依靠这三个组件•Source：用来消费（收集）数据源到Channel组件中 数据源•Channel：中转临时存储，保存所有S...

准备编程语言介绍scala、java、python、R都有spark对应的api，但如果想深入理解spark还是需要学习scala的。（scala中隐式转换特性可以很大程度提高spark开发效率）；Scala（FP+OP面向对象和函数式编程混合语言）优势在于函数式编程；scala是在java之外套了一层壳，编译之后还是.class，运行在jvm，所以java语言在学习大数据组建中也特别重要...