Linux
文章平均质量分 84
honorWE
得数据者得天下
展开
-
CenterOS6.5mini版 hadoop集群搭建
CentOS6.5mini版hadoop集群搭建流程 桌面版无须安装 ssh CentOS 7 系列: 重启网络服务:systemctl restart network 关闭防火墙:systemctl stop firewalld 禁止防火墙开机启动:systemctl disable firewalld安装虚拟机原创 2018-01-16 11:16:13 · 644 阅读 · 1 评论 -
Hadoop和大数据的渊源
Hadoop一、Hadoop 是什么?Hadoop 是 Apache 旗下的一套开源软件平台。Hadoop 可以利用计算机集群,根据用户自定义的业务逻辑对海量数据进行分布式处理。通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。二、Hadoop 生态圈Hadoop 生态圈是指以 Hadoop 为基础发展出来的一系列技术。这些技术都是为了解决大数据处理过程中不断出现的新问题而原创 2018-01-19 08:43:15 · 1060 阅读 · 1 评论 -
hbase 常见知识点
hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储,zookeeper进行管理。(2) Hbase适合存储半结构化或非结构化数据,对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。(3) Hbase为null的记录不会被存储.(4)基于的表包含rowkey,时间戳,和列族。新写入数据时,时间戳更新,同时可以查询到以前的版本....原创 2018-03-09 14:01:46 · 621 阅读 · 0 评论 -
ZooKeeper 安装配置 和 HBase 安装配置
ZooKeeper 安装配置:三台服务器:192.168.15.5 jokeros1192.168.15.6 jokeros2192.168.15.7 jokeros3在每台服务器的host中添加:192.168.15.5 jokeros1192.168.15.6 jokeros2192.168.15.7 jokeros3随便在某一台上如:192.168.15.5解压zookeeper压缩文件:t...原创 2018-03-13 09:08:03 · 387 阅读 · 0 评论 -
Hive知识点总结-01
*启动错误,日志查看1.hdfs日志,hadoop安装目录下的logs目录2.zookeeper日志 当没有特殊指定zookeeper的日志输出目录的话,zookeeper的日志是在执行zkServer.sh start指令所在的文件夹里 zookeeper日志的名称是:zookeeper.out3.hbase日志 hbase的日志在hbase安装目录下面有logs目录*zookeeper ...原创 2018-03-14 16:48:31 · 320 阅读 · 0 评论 -
Hive知识点总结-02
*hive-hql 1.数据类型 数值型:int DECIMAL、DOUBLE 字符串:string 日期类型:date(毫秒),timestamp(纳秒) 2.数据定义语法:DDL (重要) 表的定义 表结构的修改 数据库对象:table、view、index、trigger(触发器)、procedure存储过程、function、constraint...原创 2018-03-14 16:50:39 · 645 阅读 · 0 评论 -
Hive知识点总结-03
*微博数据hbase存储设计 1.用例设计 应用场景实例,列出每个应用场景下的:人、事、物 1.注册账号:人:用户,事:注册,物:无 2.发微博:人:用户,事:微博发表,物:博文 3.浏览微博:人:用户、关注的用户,事:看微博,物:博文 4.点赞和评论微博:人:用户、其他用户,事:对微博的各种操作,物:博文 5.关注和取关:人:用户、其他用户,事:关注或取消关注,物:无 6.分享:人...原创 2018-03-14 16:52:34 · 369 阅读 · 0 评论