大数据
文章平均质量分 75
北山璎珞
私はこのjianghuが好き
展开
-
HBase启动问题(一) org/apache/hadoop/hbase/master/ClusterSchema
org/apache/hadoop/hbase/master/ClusterSchema原创 2022-09-08 16:30:41 · 851 阅读 · 1 评论 -
模块开发----数据可视化
1. Echarts介绍Echarts是一款由百度前端技术部开发的,基于Javascript的数据可视化图表库,提供直观,生动,可交互,可个性化定制的数据可视化图表。提供大量常用的数据可视化图表,底层基于ZRender(一个全新的轻量级canvas类库),创建了坐标系,图例,提示,工具箱等基础组件,并在此上构建出折线图(区域图)、柱状图(条状图)、散点图(气泡图)、饼图(环形图)、K线图、地图...原创 2020-04-22 22:03:17 · 913 阅读 · 0 评论 -
大数据生态圈辅助工具(汇总)
工具: impala一 impala1.impala的介绍及与hive的关系2.Impala安装部署3.impala-shell命令参数4.impala sql语法5.Impala数据导入方式6.Impala的java开发二原创 2020-04-16 20:53:29 · 351 阅读 · 0 评论 -
云服务jps查看HDFS服务无内容,服务页面却可以访问问题(附问题分析及解决方法)
hdfs进程被杀死,按说jps访问无服务器,页面应该服务访问,但是页面显示正常,而且本地也可以调用 hdfs服务进行读写操作。唯一的不同就是jps查看不到任何服务。另外一种情况就是,页面无法访问,本地也无法调用!这里涉及到了 oom-killer在内核检测到系统内存不足后,会触发oom-killer,挑选最占用内存的进程杀掉。解决办法:将不需要杀死的进程从 oom-killer中排出第一...原创 2019-12-01 15:33:39 · 276 阅读 · 0 评论 -
MapReduce之WordCount案例本地服务器编码(含完整源码及实现及Windows版资源)
上一篇已经写了 MapReduce之WordCount案例云服务器编码(含完整源码及实现),本地编码只是在原来的基础上做了一点改动。这里只讲改动的几个点:上篇文章链接: MapReduce之WordCount案例云服务器编码(含完整源码及实现)Windows版Hadoop资源 hadoop-2.6.0-cdh5.14.0:链接:https://pan.baidu.com/s/1cRhLvH...原创 2019-11-11 22:58:30 · 209 阅读 · 0 评论 -
MapReduce之WordCount案例云服务器编码(含完整源码及实现)
一、mapReduce编程模型的总结:MapReduce的开发一共有八个步骤其中map阶段分为2个步骤,shuffle阶段4个步骤,reduce阶段分为2个步骤Map阶段2个步骤第一步:设置inputFormat类,将我们的数据切分成key,value对,输入到第二步第二步:自定义map逻辑,处理我们第一步的输入数据,然后转换成新的key,value对进行输出shuffle阶段4个步骤...原创 2019-11-06 23:34:03 · 355 阅读 · 0 评论 -
HDFS的文件写入和读取过程
一. 什么是NameNode 、DataNode1、 NameNode是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的名字空间(namespace)以及客户端对文件的访问2、 文件操作,namenode是负责文件元数据的操作,datanode负责处理文件内容的读写请求,跟文件内容相关的数据流不经过Namenode,只询问它跟哪个dataNode联系,否则NameNode会...原创 2019-10-22 22:02:09 · 1657 阅读 · 0 评论 -
本地用HDFS的javaAPI访问云服务器Hadoop过程及问题(总结)
之前写了一篇在云服务器上搭建Hadoop单节点的文章,实现了浏览器查看Hadoop相关的界面,文章链接如下:CDH版Hadoop云服务器的单节点和集群安装(附CDH自编译版本)如果要在本地通过用HDFS的JavaAPI访问云服务器上的Hadoop服务,之前的配置是不行的,下面就写一下:1.开始及遇到问题从上篇文章的配置开始讲起:涉及到服务地址,core-site.xml、hdfs-site...原创 2019-10-20 23:44:42 · 3331 阅读 · 6 评论 -
CDH版Hadoop云服务器的单节点和集群安装(附CDH自编译版本)
上一篇写过 Apache版的Hadoop安装,https://blog.csdn.net/beishanyingluo/article/details/101938568这里写一下 CDH版重新编译后的Hadoop版本的安装:编译后版本 hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz 连接:链接:https://pan.baidu.com/s/1fyaL6Xb...原创 2019-10-16 22:33:40 · 598 阅读 · 2 评论 -
CDH版本的zookeeper集群环境搭建
这里一共三台服务!1、下载,解压下载地址为:http://archive.cloudera.com/cdh5/cdh/5/下载对应版本的CDH5.14.0这个版本的zookeeper的压缩包即可:2、修改配置文件node01修改配置文件创建zk数据存放目录:mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas修改z...原创 2019-10-15 21:24:25 · 924 阅读 · 0 评论 -
HDFS常用命令(总结)
1.查看hdfs下根目录下的文件hdfs dfs -ls /2.查看hdfs某个目录下的所有文件结构:如:查看根目录所有文件结构hdfs dfs -ls -R /hdfs dfs -lsr /如:查看根文件tmp下的所有文件列表hdfs dfs -ls -R /tmp/hdfs dfs -lsr /tmp/3.创建文件夹如:在根文件的test目录下,创建test2hdf...原创 2019-10-14 21:06:04 · 17531 阅读 · 1 评论 -
CDH版本hadoop-2.6.0-cdh5.14.0重新编译(软件+步骤+结果包)
**编译软件包集合:链接:https://pan.baidu.com/s/1D-WRVRthlhkMl_a2BzkNdQ提取码:3y5h**1 为什么要编译hadoop由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就...原创 2019-10-13 22:15:43 · 1702 阅读 · 2 评论 -
大数据集群环境准备
既然是集群,就应该有多台服务器,可以自己电脑安装虚拟机,也可以购买云服务器(成本有点高)。下面写一个多个服务器建立大数据集群环境的操作:1.关闭服务器的防火墙 ,命令:service iptables stop查看是否关闭:chkconfig iptables off2.关闭服务器的selinuxSelinux是一个极其复杂的Linux内核模块,具体信息可以网上搜一下,这里只写一下关闭...原创 2019-07-29 22:05:47 · 392 阅读 · 0 评论 -
在win10环境下安装vmware软件后没有vmnet1、vmnet8虚拟网卡义
1.在win10环境下安装vmware软件后没有vmnet1、vmnet8虚拟网卡义VMware版本问题!!!使用window10安装的VMware,发现 “网络连接”只有 vmnet1,但是没有vmnet8。且是未连接的状态。根据网上找的一些资料,关闭防火墙,以及在 Device Install Service 、Device Setup Service、Network Setup Ser...原创 2019-07-25 21:50:05 · 3780 阅读 · 0 评论 -
Vmware虚拟机克隆后MAC地址IP地址修改并实现上网
Vmware虚拟机复制克克隆后MAC地址IP地址修改:步骤1:步骤2:更改mac地址:vim /etc/udev/rules.d/70-persistent-net.rulesname修改为 eth0 , 这里的mac地址,就是图一生成,如果还有其他配置,删除即可。步骤3:更改ip地址vim /etc/sysconfig/network-scripts/ifcfg-eth0...原创 2019-07-26 21:43:33 · 4268 阅读 · 5 评论 -
Xshell 发送文本到当前Xshell窗口的全部会话
Xshell绿色安装版:链接:https://pan.baidu.com/s/1r0dmbgBx7F9OTxd7sa4bpw提取码:s1lwXshell多窗口同时输入命令原创 2019-07-28 15:00:15 · 4624 阅读 · 0 评论 -
Hadoop云服务器的单节点安装
1.下载hadoop:下载链接:http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz2.上传服务器并解压:我的上传地址为:/opt/hadoop/soft/执行解压命令:tar -zxvf /opt/hadoop/soft/hadoop-2.7.5.tar.gz -C /opt/had...原创 2019-10-02 21:09:28 · 340 阅读 · 0 评论 -
附资源安装:jdk-8u221-linux-x64.tar.gz / jdk-8u141-linux-x64.tar.gz
Oracle的官方JDK下载需要注册,且会出现下载到最后一点就限速的情况,这里放一下已经下载好的JDK连接:版本是jdk-8u221-linux-x64.tar.gz链接:https://pan.baidu.com/s/1GZnUwB3nraObgperKlmBCg提取码:17xx1.原有虚拟机jdk的卸载:一般Vmware虚拟机安装后,会有自带的jdk- openjdk查看命令:r...原创 2019-07-29 20:34:47 · 27663 阅读 · 19 评论