大数据
文章平均质量分 54
如饥似渴的rocky
信念,始终都要有一个信念,这个世界没有鬼!
始终要有一个信念,一切都会好起来!
始终要记得,你越害怕的时候越要勇敢,你越想退缩地时候越要勇往直前!
始终要记得,外面其实什么都没有,所有的恐惧、担心都是你想象出来的结果!
勇敢一点,再勇敢一点!再勇敢一点!
展开
-
大数据专家3个月自学计划
本人有6年Java开发经验,目前在岗中,之前通过视频教学自学过Hadoop生态技术、flume、kafka、Redis、hive、spark、flink、sqoop、azkaban、ozie、habse、presto、kylin等大数据相关技术,希望利用3个月时间复习,成为大数据专家。原创 2024-03-19 21:16:59 · 666 阅读 · 1 评论 -
Hadoop复习——Yarn
UML:统一建模语言,又称标准建模语言,是对软件密集系统进行可视化建模的一种语言。UML:3种主要模型,5类主要图形。3种主要模型:功能模型:从用户的角度展示系统的功能,包括用例图。对象模型:采用对象,属性,操作,关联等概念展示系统的结构和基础,包括类图、对象图、包图。动态模型:展现系统的内内部行为。包括序列图、活动图、状态图。原创 2021-10-10 00:47:12 · 123 阅读 · 0 评论 -
Hadoop复习——mapreduce
从序列化开始记录hadoop序列化 什么是序列化 序列化是把内存中的对象,转换成字节序列,用来存储磁盘持久化或网络传输。 反序列化是将本地磁盘的持久化数据或者接收到的网络中的字节码数据转换成内容中的对象。为什么要学序列化因为内存中的对象不能直接存储到磁盘或进行网络传输,只能将其序列化成字节码之后,才可以存储到磁盘或者进行网络传输。为什么不用Java的序列化Java序列化是一个重量级序列化框架(serializable),一个...原创 2021-10-08 21:27:45 · 158 阅读 · 0 评论 -
Hive常用函数
常用日期函数unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp(“2020-10-28”,‘yyyy-MM-dd’);from_unixtime:将时间戳转为日期格式select from_unixtime(1603843200);current_date:当前日期select current_date;current_timestamp:当前的日期加时间select current_time原创 2021-05-07 16:47:35 · 87 阅读 · 0 评论 -
hadoop集群启动的时候,从机的DataNode没有启动的原因及解决
原因:由于过多在namenode机器上执行hdfs namenode -format命令,导致DataNode机器上data文件夹下的数据与namenode机器上name文件夹下的数据没有匹配上,这样就无法启动DataNode上的DataNode进程了。解决:删除data文件夹下的所有数据,data文件夹的位置可以在hdfs-site.xml配置文件中找到,下面是我的data位置。执行删除命...原创 2019-10-26 20:26:01 · 2994 阅读 · 0 评论 -
hadoop集群搭建--完全分布式搭建
hadoop完全分布式集群搭建前期准备安装配置hadoop配置环境变量前期准备hadoop集群搭建–虚拟机centos7minimal版网络配置【文章链接】hadoop集群搭建–hadoop-2.8.5编译【文章链接】hadoop集群搭建–虚拟机克隆、ssh免密登录【文章链接】安装配置hadoop在本地编译过的hadoop安装包【点击下载】。下载解压后,在target目录下找到ha...原创 2019-10-26 20:15:19 · 940 阅读 · 0 评论 -
-bash: start-dfs.sh: command not found
启动hdfs的时候报:-bash: start-dfs.sh: command not found主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下,如果在etc/profile里面只配置了HADOOP_HOME/bin的话,那在启动的时候就会报没有找到命令的错误了,所以,在HADOOP_HOME/bin后面再加上:HADOOP_HOME/sbin就可以了。...原创 2019-10-26 19:16:54 · 19377 阅读 · 7 评论 -
hadoop集群搭建--虚拟机克隆、ssh免密登录
前期准备之虚拟克隆、shh免密登入虚拟机克隆关闭防火墙修改网卡名称安装jdk:克隆克隆虚拟机客户端网络配置问题-解决办法虚拟机克隆在克隆之前,即将被克隆的虚拟机已经配置好网络。如果还没有,可以参考鄙人博文,链接:minimal版的网络配置关闭防火墙我测试了下,如果克隆前,被克隆的虚拟机关闭并阻止开机启动防火墙,那么克隆后的新虚拟机的防火墙就不需要再次关闭了,默认就是关闭了。查看firew...原创 2019-09-28 18:07:15 · 1445 阅读 · 0 评论 -
hadoop集群搭建--hadoop-2.8.5编译
hadoop集群搭建--hadoop-2.8.5编译编译基本过程软件版本安装软件包:jdk安装:maven安装:ant安装:安装protobuf:解压hadoop源码文件:编译打包hadoop编译基本过程软件版本jdk:jdk-8u221-linux-x64.tar.gzmaven:apache-maven-3.6.1-bin.tar.gzant:apache-ant-1.9.14-b...原创 2019-09-27 09:33:41 · 508 阅读 · 0 评论 -
hadoop集群搭建--虚拟机centos7minimal版网络配置
centos7minimal版本网络配置网络配置配置过程 遇到的问题网络配置配置过程 在配置网络的时候:先修改主机名:sudo /etc/hostname。配置完后,cat,如下图所示:再配置:/etc/sysconfig/network,如下:再配置: /etc/sysconfig/network-scripts/ifcfg-eno16777736,如下:注意:其实配置到...原创 2019-09-26 16:11:48 · 406 阅读 · 0 评论