![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
文章平均质量分 59
兔子先生i
哪有什么一步直登的高峰,只有那不知疲惫迭代的过程。
展开
-
kafka
kafka概论: kafka高并发问题解决:横向扩大缓冲,发送端和接收端之间加消息队列 特点:Persistent messaging High throughput Distributed Multiple client support Realtime应用场景:数据管道 流应用 LinkedIn (www.linkedin.com): Apache Kafka i...原创 2018-07-10 11:08:20 · 2205 阅读 · 0 评论 -
Flume-ng
埋点:埋点分析,是网站分析的一种常用的数据采集方法。数据埋点分为初级、中级、高级三种方式。数据埋点是一种良好的私有化部署数据采集方式。埋点技术如何采集数据,有何优缺点?数据埋点分为初级、中级、高级三种方式,分别为:初级:在产品、服务转化关键点植入统计代码,据其独立ID确保数据采集不重复(如购买按钮点击率);中级:植入多段代码,追踪用户在平台每个界面上的系列行为,事件之间相互独立(如打开商品详情页—...原创 2018-07-07 09:07:10 · 294 阅读 · 0 评论 -
Spark
Spark概论:spark是一个快速的统一的大数据处理分析引擎 基本特点:速度快基于内存计算 简单易用:支持多语言开发,将数据处理模式封装成80多个方法供开发者调用 通用性: 支持批处理:核心是RDD,SparkSql 支持流处理:Spark Streaming 支持交互式分析:Spark shell 支持机器学习:MLLib 支持图处理:GraphX 运行在...原创 2018-08-01 19:57:07 · 207 阅读 · 0 评论 -
Sqoop简介
目的: 在Hadoop和RDBMS之间高效传输数据:hadoop大数据存储平台:hdfs、hive、hbaserdbms关系型数据库 : mysql、oracle、postgresql、mssql原理:把用户的指令解析编译成MR任务,发布到yarn上分布式执行MR任务把输入和输出分别对接RDBMS和Hadoop就能完成数据的转移版本:sqoop1:核心组件:TaskTranslator,解析编译用...原创 2018-07-03 21:52:26 · 504 阅读 · 0 评论 -
Sqoop2
安装:解压,把目录添加到path里确保path里面有hadoop_home在hadoop的core-site.xml里面添加上去oop的权限<property> <name>hadoop.proxyuser.sqoop2.hosts</name> <value>*</value></property><pro...原创 2018-07-03 20:40:38 · 233 阅读 · 0 评论 -
HBase
1.hbase(mian)>list查看有哪些表 2.创建表 # 语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>} # 例如:创建表t1,有两个family name:f1,f2,且版本数均为2 hbase(mian)> ...原创 2018-07-03 19:40:49 · 188 阅读 · 0 评论 -
Zookeeper
节点角色:leader 1.接受client请求或接受flower转发请求,发起提议供其他节点投票选举 2.为客户提供数据查询服务 flower 1.接受client请求,并将请求转发给leader 2.为每个leader发起的投票 ...原创 2018-07-03 19:40:07 · 170 阅读 · 0 评论 -
maven库中架包未下载完成问题解决
maven库中架包未下载完成可以使用指令下载:1.配置maven的环境变量 新建: MAVEN_HOME D:\001software\apache-maven-3.5.32.Path 添加:%MAVEN_HOME%\bin3.进入D盘 D: 进入D盘后cd到所创建的工程下 cd path 执行命令:mvn compil...原创 2018-07-03 19:37:59 · 548 阅读 · 0 评论 -
Sqooop1
sqoop import --paramssqoop-import --params如果分割字段是文本:-Dorg.apache.sqoop.splitter.allow_text_splitter=true如果表没有主键或者使用sql取数需要参数:--split-by数据量如果较大则使用压缩:-z,--compress --compression-codec <c>设定map的数...原创 2018-07-03 19:35:46 · 257 阅读 · 0 评论 -
redis
redis安装:解压压缩包tar -zxvf redis-3.2.0.tar.gz安装gccyum install gcc检查gcc安装是否成功rpm -qa |grep gcc cd进入redis目录下的:deps目录执行:make hiredis lua linenoise jemalloc进入文件夹make安装cd redis-3.2.0make MALL...原创 2018-08-01 19:57:32 · 258 阅读 · 0 评论