![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
个人感悟
文章平均质量分 88
kinglinch
仓鼠宝宝一枚
展开
-
Zookeeper源码分析笔记[2]-服务端源码分析
Zookeeper源码分析笔记[2]-服务端源码分析原创 2022-02-09 21:02:27 · 318 阅读 · 0 评论 -
Hadoop学习笔记[2]-HDFS安装部署流程
Hadoop学习笔记[2]-HDFS安装部署流程1、必备软件 1-1 java(最好是1.8及其以上,but1.8以上只有open jdk了) 1-2 ssh软件,免密登录需要具体怎么配置网络上搜吧 直接在官网上搜就行了【https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 这里就有】,主要就是生成公钥和私钥,并将公钥分发给要免密登录的服务器,登录时,会拿着自己的私原创 2022-02-03 11:02:48 · 2651 阅读 · 0 评论 -
Hadoop学习笔记[1]-HDFS基本知识和读写原理
Hadoop学习笔记[1]-HDFS基本知识和读写原理 大数据领域的技术基石主要来源于谷歌的三篇论文GFS、MapReduce和BigTable,分别是文件系统、计算框架和数据库,本文所说的HDFS对应其中的GFS,先抛出一个小问题,在HDFS出现之前,市面上就已经存在各种各样的分布式文件系统,那么为什么Hadoop之父还要搞一个HDFS?1、HDFS基本架构1-1 存储模型1)、文件线性按照字节切割成块,具有offset和块ID【数据被切割在不同的块的时候怎么办?】2)、不同文件之间的块大小原创 2022-02-03 11:01:48 · 810 阅读 · 1 评论 -
经典排序算法[2]-堆排
堆结构与堆排序详解原创 2022-02-02 14:11:45 · 182 阅读 · 0 评论 -
Zookeeper源码分析笔记[1]-客户端源码分析
zk客户端源码分析原创 2022-02-01 14:55:41 · 1840 阅读 · 0 评论 -
Netty源码分析专题[2]-消息队列MpscQueue分析
Netty源码分析专题[2]-消息队列MpscQueue分析 在看Netty源码的时候看到了这个队列,之前都没见过,所以特地写个笔记记录一下 MpscQueue的Mpsc的全称是Multi producer single consumer【多生成者单消费者】,我们先把单消费者单生成者的情况分析清楚,在多生产者的情况下,多了一步抢位置的动作,就是如果多个线程同时要往队列添加数据,需要先抢占一下最后一个位置,这就涉及多线程同步,可以加锁,但是更多的是CAS操作,线程同步问题就不在这介绍了1、前序原创 2022-01-30 22:14:01 · 922 阅读 · 4 评论 -
Netty源码分析专题[1]-服务端启动流程
Netty源码分析专题[1]-服务端启动流程 Netty是一个高性能底层网络传输层技术,深入研究其底层实现原理不仅可以领略其优秀的架构思想,还能为用好这个技术打下坚实的基础,正所谓知其然知其所以然,本文使用的netty版本是4.1.52,其中池化内存部分的源码的变动很大,这个版本的代码在内存回收到缓存的时候有个bug,当然新版本已经修复,具体的可以看池化内存源码分析相关的内容。 从本文开始,会有一系列的Netty源码分析相关的分析1、从Java NIO模型说起 Java NIO类库好像是JDK原创 2022-01-30 21:53:33 · 1136 阅读 · 1 评论 -
Hive支持多分隔符与GBK字符集
近期在做将数据从SFTP拷贝的Hive,SFTP中的文件存储的是从关系型数据库抽出来的数据,字段之间用0x7C0x1C两个字符分割,采用GBK字符集,这些都是公司规定的,不可能改动,字符集问题可以通过指定序列化编码方式适配,但是也有问题,下文会介绍,但是分隔符的问题无法通过指定建表参数解决,因为Hive默认只支持一个分隔符,既然不能通过HIVE命令解决多分隔符问题,那只能通过代码解决,从头开始过一...原创 2019-01-04 14:58:08 · 3959 阅读 · 0 评论 -
win7下借助kettle7.0在命令行界面将数据库数据传输到hive与HBASE
接上一篇win7传输数据至hdfshive是基于hadoop的数据仓库,具体hive相关的内容可以查看这篇文档,使用kettle将关系型数据库导入hive或者从hive导出数据的方式有以下几种:1、使用kettle的sqoop组件 玩过hive的人都知道,在hadoop生态圈,sqoop的作用就是将关系型数据库的数据导入到hdfs(或者将hdfs的数据导入到关系型数据库),之后使用...原创 2019-01-04 14:51:46 · 366 阅读 · 0 评论 -
win7下借助kettle7.0在命令行界面将数据传输到hdfs
为什么写这系列博客的原因就是真的遇到的坑太多了,所以需要写下来,防止以后忘记,话不多说吗,直接进入主题一、环境kettle7.0,kettle是开源的etl工具(kettle7.0需要java8),其优势在于可以使用图形化界面开发,开发完成后可以部署在linux或者windows平台 window7.0 大数据平台采用的是CDH,其余版本的haoop应该也是类似的二、修改配置文件...原创 2019-01-04 14:21:54 · 772 阅读 · 1 评论