hadoop
文章平均质量分 65
明喆_sama
安居杭州,放眼世界,路漫漫其修远兮,吾将上下而求索
展开
-
简易hadoop rpc功能实现
一、需求完成一个类似的RPC函数:// 要求:输入你的真实学号,返回你的真实姓名// 输入学号20210000000000,返回null// 输入学号20210123456789,返回心心// 作业上缴:截图server端和client端的执行结果 String findName(int studentId);二、分析其实就是模拟 RPC 的客户端、服务端、通信协议三者如何工作的来自网络截图,右图的服务端代理调用改为:findName方法,原理是一模一样的。三、代码.原创 2021-07-25 22:41:46 · 146 阅读 · 0 评论 -
Secondary NameNode工作原理
一、NameNode和 Secondary NameNode工作机制工作流程图1)第一阶段:NameNode 启动 (1)第一次启动 NameNode 格式化后,创建 Fsimage 和 Edits 文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。(2)客户端对元数据进行增删改的请求。(3)NameNode 记录操作日志,更新滚动日志。(4)NameNode 在内存中对元数据进行增删改。2)第二阶段:Secondary NameNode 工作 ...原创 2021-07-05 15:49:55 · 1086 阅读 · 0 评论 -
太强了,HDFS写入流程原理
一、简介 HDFS(Hadoop Distributed File System)是GFS的开源实现。1.优点: 能够运行在廉价机器上,硬件出错常态,需要具备高容错性 流式数据访问,而不是随机读写 面向大规模数据集,能够进行批处理、能够横向扩展 简单一致性模型,假定文件是一次写入、多次读取2.缺点: 不支持低延迟数据访问 不适合大量小文件存储(因为每条元数据占用空间是一定的) 不支持并发写入,一个文件只能有一个写入者 不支持文件随机修改,仅支持追加写入3原创 2021-07-05 11:17:23 · 1066 阅读 · 0 评论 -
如何删除hdfs的/var/log/spark/apps下面的日志
由于spark任务会一条一条的hadoop fs -rm -r /var/log/spark/apps/application_1584960300389_12*原创 2021-06-21 14:45:56 · 454 阅读 · 0 评论 -
presto web查询工具
一、Yanagishima工具包:网上有很多,我这里用的是yanagishima-18.0.zip也可以在官网下载源码编译,不过最新版本需要jdk11,现在企业中普遍使用jdk8,所以选了一个较低的版本https://github.com/yanagishima/yanagishima二、使用很简单,但是也遇到的一些坑,主要还是配置问题,由于我司的HTTP端口是通过代理映射出来,导致踩了一个大坑,另外配置的注释也要认真看看,不然容易配置错误。# yanagishima web port原创 2020-06-01 16:47:08 · 1252 阅读 · 0 评论 -
sqoop导hive数据到mysql卡死在INFO mapreduce.Job: map 100% reduce 0%
用sqoop将hive里面的数据导出到mysql里去,一种情况是mapreduce 程序卡住,INFO mapreduce.Job: map 100% reduce 0% 另一种情况是:报这个错误:java.sql.SQLException: Incorrect string value: '\xF0\x9F\x90\xBB' for column 经...2017-02-22 16:53:35 · 3034 阅读 · 0 评论 -
sqoop将hive里的表导入mysql
sqoop 导出hive数据到mysql 执行命令bin/sqoop export --connect jdbc:mysql://slaver3:3306/ishangzu --username root --password root --table dw_pv_uv_ip --export-dir /user/hive/warehouse/t_20161019.db/dw_pv_u...2016-11-09 19:06:36 · 204 阅读 · 0 评论 -
centOS7上搭建hadoop2.4.1的步骤
1.给虚拟机配置静态IP执行命令: vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0IPV6INIT=yes#BOOTPROTO=dhcp #修改前BOOTPROTO="static" #修改后UUID=38fddc7f-1e93-4186-90e0-5b4edc91f398ONBOOT=yes...2016-06-24 17:47:30 · 175 阅读 · 0 评论 -
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException
启动hadoop namenode -format命令时报如下错误:java.net.UnknownHostException: #centos-linux.sharedmaster: #centos-linux.sharedmaster at java.net.InetAddress.getLocalHost(InetAddress.java:1473) at org.a...2016-06-23 17:35:24 · 1543 阅读 · 0 评论 -
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/
写道http://www.powerxing.com/install-hadoop/原创 2016-06-23 00:45:13 · 102 阅读 · 0 评论 -
hadoop里各端口号查询
http://www.aboutyun.com/thread-7513-1-1.html原创 2016-06-22 16:52:54 · 2038 阅读 · 1 评论 -
YARN加载本地库Unable to load native-hadoop library解决办法
YARN加载本地库Unable to load native-hadoop library解决办法http://my.oschina.net/itblog/blog/270360原创 2016-06-22 15:55:50 · 369 阅读 · 0 评论 -
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx
初始化hadoop时出现解决信息如:SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx 解错方案地址:http://blog.csdn.net/mituan1234567/article/details/46793331 ...原创 2016-06-22 12:31:40 · 645 阅读 · 0 评论 -
Hadoop格式化HDFS报错java.net.UnknownHostException: localhost.localdomain: localhost.
解决方案地址: http://blog.csdn.net/shirdrn/article/details/6562292原创 2016-06-22 12:19:08 · 168 阅读 · 0 评论 -
Linux下安装Hadoop详解及WordCount运行
关于如何在Linux上安装hadoop并运行WordCount参考这篇文章http://www.tuicool.com/articles/bmeUneM原创 2016-06-21 14:50:19 · 235 阅读 · 0 评论 -
macbook pro 上如何搭建hadoop
如何在MacBook 搭建hadoop ,参考下面两篇博客http://www.cnblogs.com/aijianiula/p/3842581.html http://www.myexception.cn/open-source/2053649.html原创 2016-06-08 17:33:23 · 395 阅读 · 0 评论