大数据(hadoop/spark)
czp11210
长期专注在车载物联网领域,智慧交通行业;精通C/C++、Java、JavaScript等高级语言;钟情于各种开源技术框架,先后参与过各大航空公司的会员、交易、结算等业务体系开发,主持过移动快速开发平台的建设。
展开
-
Mahout推荐算法API详解
Posted:Oct 21, 2013Tags:itemCFknnMahoutrecommendationSlope OneTree ClusterUserCFComments:31 CommentsMahout推荐算法API详解Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBa转载 2015-11-12 10:49:38 · 1430 阅读 · 0 评论 -
HDFS block丢失过多进入安全模式(safe mode)的解决方法
HDFS block丢失过多进入安全模式(Safe mode)的解决方法背景及现象描述(Background and Symptom) 因磁盘空间不足,内存不足,系统掉电等其他原因导致dataNode datablock丢失,出现如下类似日志: The number of live datanodes 3 has reached the minimum n转载 2017-08-04 22:02:24 · 7036 阅读 · 1 评论 -
HBASE完全分布式配置
1.启动zookeeper集群2.启动hadoop集群,基本要启动hdfs3.上传解压hbase的包,配置conf/hbase-env.shexport JAVA_HOME=/opt/soft/jdk1.7.0_79export HBASE_CLASSPATH=/opt/soft/hadoop-2.5.1/etc/hadoopexport HBASE_MANAGES_ZK=fa原创 2017-07-25 00:43:32 · 655 阅读 · 0 评论 -
HDFS高可用配置
在前面安装完成完全分布式的基础上改造为高可用1.安装启动zookeepera)上传解压zookeeper包b)cp zoo_sample.cfg zoo.cfg修改zoo.cfg文件c)dataDir=/opt/data/zookeeperserver.1=node1:2888:3888server.2=node2:2888:3888server.3=node3原创 2017-07-25 00:40:56 · 687 阅读 · 0 评论 -
HDFS完全分布式配置
准备阶段,每个节点安装jdk,配置环境变量,注意安装的位置要一致注意:1.每台机器的防火墙关闭2.每台机器配置时间自动同步,或者简单点每台机器时间保持一致(相差不超过30秒)yum -y install ntpdate/usr/sbin/ntpdate -u pool.ntp.org */10 * * * * /usr/sbin/ntpdat原创 2017-07-25 00:29:35 · 680 阅读 · 2 评论 -
hadoop系列文档3-配置Hdfs高可用HA
版权声明:本文为博主原创文章,未经博主允许不得转载。目录(?)[-]背景架构设计如何配置HAQJM分配每个节点需要安装的服务hdfs-sitexml中的配置信息Core-sitexml中的配置如何启动Step1 启动JournalNode集群Step2 格式化NameNodeStep3 转成ActiveZookeeper应用自动灾难恢复S转载 2017-07-18 11:42:29 · 1220 阅读 · 0 评论 -
hadoop错误,重新格式化namenode后,出现java.io.IOException Incompatible clusterIDs
摘要: 错误: java.io.IOException: Incompatible clusterIDs in /data/dfs/data: namenode clusterID = CID-d1448b9e-da0f-499e-b1d4-78cb18ecdebb; datanode clust错误: java.io.IOException: Incompati转载 2017-07-17 22:28:40 · 952 阅读 · 0 评论 -
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0安装
安装hadoop2.6+HA1.准备一台CentOS6.4系统2.环境CentOS6.4 共5台机器名 ip地址 安装软件 运行进程 master1 192.168.3.141 Hadoop、Zookeeper、Hbase NN、RM、DFSZKFC、journalNode、HMaster、QuorumPeerMain master2 192.168.3.142转载 2017-07-17 19:48:15 · 400 阅读 · 0 评论 -
Hadoop1.x 分佈式安裝
下面博文已更新,请移步 ↑ 用于测试,我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统,一个win7系统。每台电脑装两个虚拟机,要不然内存就满了。 1、安装虚拟机环境 Vmware,收费产品,占内存较大。 或 Oracle的VirtualBox,开源产品,占内存较小,但安装ubunt转载 2017-07-17 19:02:36 · 325 阅读 · 0 评论 -
Hadoop NameNode 高可用 (High Availability) 实现解析
在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop 生态系统中依赖于 HDFS 的各个组件,包括 MapReduce、Hive、Pi转载 2017-07-18 10:24:48 · 440 阅读 · 0 评论 -
Hadoop与Hbase兼容性
HadoopThe following table summarizes the versions of hadoop supported with each version of Hbase. Based on the version of hbase, you should select the most appropriate version of Hadoop. You can转载 2017-07-18 00:40:26 · 899 阅读 · 0 评论 -
hadoop-2.6.1安装
categories:- Hadoopdate: 2015-11-23 21:35:22---## 1.安装JDK 7### 1.1新建目录```shellmkdir /usr/local/jdk/```将jdk1.7.0_79.tar.gz解压到此目录,目录结构/usr/local/jdk/jdk1.7.0_79### 1.2全原创 2017-07-11 22:36:00 · 579 阅读 · 0 评论 -
大数据性能调优之HBase的RowKey设计
HBase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:HBase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Rowkey的二进制序由小到大转载 2017-06-30 20:58:26 · 602 阅读 · 0 评论 -
物联网大数据平台软件开发架构案例解析
有人说物联网是引领信息技术的第三次浪潮。第一次浪潮是个人电脑的出现,开创了信息时代的第一次革命,此次浪潮成就了微软、IBM等巨头。第二次浪潮是以信息传输为特征的互联网及移动互联网,实现了计算机与人的联通,此次浪潮成就了Google、Facebook,以及国内的BAT等巨头。第三次浪潮是以信息感知为特征的物联网,实现了物与物、人与物的全面联通,这次浪潮还没有形成寡头,但是随着转载 2017-03-04 08:39:21 · 16685 阅读 · 0 评论 -
大数据技术助力中国石化智能工厂
炼油和化工行业是是典型的流程型生产模式,工艺过程高度依赖设备的长期、稳定、安全和高效运行。因此,设备维护对炼油化工企业至关重要,任何一台关键设备的故障停机都可能导致数以百万甚至千万级的经济损失。 设备维护分为预防性维护、预知性维护和事后维护。流程型行业的特点决定了对于非关键类的设备可以采取事后维修的方式,以降低维护成本;对于关键类的设备必须采取预防性维护和预知性维护相结合的方式,保证设备转载 2016-06-15 15:15:45 · 3107 阅读 · 2 评论 -
STORM启动与部署TOPOLOGY
启动ZOOPKEEPERzkServer.sh start启动NIMBUSstorm nimbus &启动SUPERVISORstorm supervisor &启动UIstorm ui &部署TOPOLOGYstorm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0转载 2017-10-19 18:02:35 · 5347 阅读 · 5 评论