- 博客(8)
- 收藏
- 关注
RSS订阅原创 Impala 简单使用指南
Impala优点 1. 基于内存运算，不需要讲中间结果写入磁盘，省去IO 2. 无序转换成MapReduce程序，直接访问HDFS,Hbase中的数据进行作业调度，速度快 3. 使用了支持data locality的IO调度机制：尽可能将数据和计算分配在同一台机器上，减少网络开销 4. 支持各种文件格式，如TEXTFILE 、SEQUENCEFILE 、RCFile、Parquet。//...
2018-12-26 19:45:33
2229
转载 TCP详解
TCP报文格式标志位URG:指示报文中有紧急数据，应尽快传递（优先级较高）ACK:确认序号，为1是表示确认号有效，为0 ：表示报文不含确认信息，忽略确认字段PSH:为1时表示带有push的数据，表示接收方收到数据后，应尽快发送给应用程序，而不是在缓存中排队RST: TCP连接出现严重错误时，必须释放连接，再重新进行连接SYN：处于TCP连接建立过程FIN：发送端已发送完数据，请求...
2018-12-25 20:01:50
172
转载 Hive谓词解析过程分析
where col1 = 100 and abs(col2) > 0在Hive中的处理过程where过滤条件称为谓词predicate。以上where过滤条件在经过Hive的语法解析后，生成如下的语法树：TOK_WHEREAND=TOK_TABLE_OR_COLc1100>TOK_FUNCTIONABSTOK_TABLE_OR_COLc20有了语法树之后，...
2018-12-24 09:56:36
1345
原创 hdfs shell API-count
hadoop fs -help count-count [-q] [-h] <path> ... : Count the number of directories, files and bytes under the paths that match the specified file pattern. The output columns are: DIR_COU...
2018-12-09 22:46:11
283
原创 HDFS 副本策略，文件上传流程，NameNode和2NN工作机制
Hadoop副本节点选择原则hadoop副本节点的选择是从效率和安全方面的综合考虑1. 第一个副本在本机--目的是效率方面考虑2. 第二个副本在同机架不同节点3. 第三个是不同机架的不同节点上HDFS文件上传流程1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 cl...
2018-12-07 21:22:54
734
转载 RPC定义和原理
RPC入门总结（一）RPC定义和原理 https://blog.csdn.net/kingcat666/article/details/78577079一、RPCRPC是什么RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或U...
2018-12-07 06:05:08
106
原创 Hadoop NameNode和DataNode只能启动一个问题
DataNode和NameNode进程不能共存启动NameNode可以正常启动，但是启动DataNode时发现，NameNode进程不存在了，导致两个无法共存，问题原因NameNode在format初始化后会生成claserId(集群id)，在没有关闭进程或删除原有DataNode信息的情况下， 再次格式化NameNode，生成的clusterId不同，所以导致两个不能对应上。解决办法...
2018-12-01 07:22:50
2055
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人