大数据
文章平均质量分 52
向上低调的飞
雁过留声,石划水痕
展开
-
ZooKeeper的ACL权限控制
ZooKeeper的ACL权限控制, 可以控制节点的读写操作, 保证数据的安全性原创 2022-05-05 15:32:42 · 761 阅读 · 0 评论 -
CDH安装部署
环境准备系统基本安装配置原创 2019-07-31 18:55:15 · 865 阅读 · 0 评论 -
ambari安装配置HDP
ambari安装配置HDPHDP对虚机的内存会有要求,现在每台分配3G内存可以保证安装能够顺利完成。分配2G内存的话,软件服务如HDFS都会安装失败,报各种错误,通信连接不上等。接上次安装ambari的步骤,开机启动ambari,登录web地址192.168.222.21:8080点击上面登录成功页面的Launch Install Wizard 按钮进行集群配置设置集群名称...原创 2019-08-02 19:29:21 · 1434 阅读 · 0 评论 -
ambari的安装
Ambari是什么,来看看官方的定义,The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Apache Hadoop clusters. Ambari provides an i...原创 2019-07-25 09:08:11 · 360 阅读 · 0 评论 -
项目实战清单
项目实战1. 项目概述与实验环境Ambari搭建2. 基础案例分析3. 各区域热门商品4. 实时分析TopN IP (Top 5 用户)5. 实时分析TopN IP(黑名单)6. 广告点击流量实时统计7. 推荐系统概述8. 基于用户兴趣的商品推荐9. 基于ASL协同过滤推荐10. 基于用户购买行为的商品推荐11. 搭建CDH实验环境...原创 2019-07-14 23:26:36 · 136 阅读 · 0 评论 -
Hive的安装配置
Hive在大数据中占有很重要的地位,他作为HDFS中的数据引擎,把sql语句转化为MapReduce程序,提交到hadoop中执行。对于没有接触过大数据的开发人员来说,只要会普通的sql语句就可以很方便的来操作HDFS。在使用HUE的web操作工作台中,可以很容易的开发出复杂的Hive语句,实现一系列的功能。准备tar -zxvf apache-hive-2.3.0-bin.tar.gz ...原创 2019-04-21 22:35:06 · 189 阅读 · 0 评论 -
memcached安装配置
原计划每周写一篇博客,先从大数据涉及到的工具开始,但是在坚持了7周后,在第8周断了。今天补回来上周的,自己定下了还是要持续下去。 跳出舒适区,每天学一点新鲜的知识。 memcached是一套分布式的缓存系统,把数据保存在内存中,提高系统的读取效率。不仅仅应用在大数据中,而是普遍应用在需要高并发、高负载的系统中。准备工作 memcached是c语言开发的,所以系统要...原创 2019-04-11 21:22:09 · 171 阅读 · 0 评论 -
Kafka的安装配置
消息的两个类型:Topic主题,Queue队列。Kafka属于Topic主题类型,在大数据的系统中,Kafka的使用依赖与zookeeper的,所有要先保证系统中先启动zk。现在以Kafka的单机单broker的方式来做简单的介绍。准备安装文件,解压后可以不配置环境变量 tar -zxvf kafka_2.9.2-0.8.1.1.tgz -C ~/training/ 核心配置文件 ...原创 2019-03-31 22:31:16 · 133 阅读 · 0 评论 -
pig的安装配置
在大数据的生态环境中,做数据分析引擎的技术有Hive、Pig、SparkSQL等,今天就先来做pig的安装配置,hive的安装比pig复杂些,后面再做整理。安装和配置 上传pig-0.17.0.tar.gz 到服务器 设置环境变量 PIG_HOME=/root/training/pig-0.17.0 export PIG_HOME PATH=$PIG_HOME/bin...原创 2019-03-24 23:09:09 · 204 阅读 · 0 评论 -
storm的全分布式以及HA的配置
接着上周的文章,做storm的全分布式以及HA的配置。storm的全分布式配置相比较伪分布式,修改的不多,今天把配置做好后,再运行一个官方的jar包来实际的操作数据的采集,查看处理的结果。1. 准备三台机器,bigdata112 bigdata113 bigdata114,其中bigdata112做主节点。首先三台机器上都要安装zk和storm,同时配置好环境变量。2. 修改配置文...原创 2019-03-16 22:57:25 · 336 阅读 · 0 评论 -
storm的安装配置
storm的安装配置一、伪分布式安装部署,只需要一台机器bigdata111,下面是准备工作(1)上传apache-storm-1.0.3.tar.gz到服务器,解压(2)安装zookeeper。Storm的使用需要依赖zk二、操作步骤(1)修改配置文件:conf/storm.yamlstorm.zookeeper.servers: //配置zk地址- “bigdata111” ...原创 2019-03-10 22:46:50 · 237 阅读 · 0 评论 -
HBase的安装配置
hbase是基于HDFS之上的NoSql数据库,这次学习了Hbase的三种安装模式:本地安装,伪分布安装,全分布安装本地安装方式 准备工作:安装jdk;上传hbase-1.3.1.tar.gz包,并解压,设置环境变量 本地模式不需要HDFS,保存在Linux文件系统中 配置核心文件: conf/hbase-site.xml <property> <nam...原创 2019-03-03 22:46:00 · 285 阅读 · 0 评论 -
大数据的一般学习路线图
初次了解到大数据,会感觉到一头雾水。基于hadoop的大数据生态系统,成百上千的应用,还有各种各样的理论,不同理论发展的技术路径不同。经过一段时间的查找资料,还有借鉴某课程的教材,整理了一个大概的路线图,供大家梳理脉络。1. linux 操作系统。因为hadoop部署在linux上,所以关于linux的一些基本命令是要掌握的。2. java 基础。hadoop支持java,很多的框架也原创 2017-07-11 17:18:37 · 448 阅读 · 0 评论 -
windows安装eclipse开发hadoop
hadoop部署在linux系统中,开发可以在window系统中,通过eclipse加入插件来实习开发功能1. 下载 hadoop-eclipse-plugin-x.x.x.jar, 放入到eclipse安装目录plugins下,重启eclipse。window --> open perspective --> Map/Reduce,说明按照插件成功。2. hadoop 的解压原创 2017-07-10 17:18:09 · 293 阅读 · 0 评论