![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 81
號先生
爱生活.爱运动.
展开
-
[CentOS7安装RabbitMQ]
[CentOS7安装RabbitMQ]安装erlang由于rabbitmq是基于erlang语言开发的,所以必须先安装erlang。安装依赖yum -y install gcc glibc-devel make ncurses-devel openssl-devel xmlto perl wget gtk2-devel binutils-develerlang官网:https://www.erlang.org/downloads下载(会比较慢,请耐心等待)wget http://erlan原创 2021-03-31 22:33:57 · 191 阅读 · 1 评论 -
hbase和hive的差别是什么,各自适用在什么场景中?区别:
作者:yuan daisy 链接:https://www.zhihu.com/question/21677041/answer/78289309 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。1.Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。Hive本身不存储数据,它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一原创 2018-01-16 22:52:47 · 1364 阅读 · 0 评论 -
工具链接
工具 http://www.ofmonkey.com/front/color 程序员在线工具http://www.runoob.com/scala/scala-tutorial.html 菜鸟教程https://github.com/ http://www.yiibai.com/hbase/ 易佰教程 HBase原创 2018-01-08 21:51:27 · 220 阅读 · 0 评论 -
对接 kafka的 spark程序 程序可以正常运行 就是接受kafka的数据时很慢 ,怎么调优?
1)启动一个console consumer消费topic的数据,判断消费是否正常。 2)如果console consumer消费正常,就检查sparkstream程序。 2.1)sparkstreming 是基于时间片消费数据的。 看看时间片是否过小,最小的时间间隔,参考在0.5~2秒钟之间。可以适当放宽时间片的大小。 2.2)spark streaming虽然是按照时间片消费数据的,但是原创 2018-01-26 18:11:54 · 2217 阅读 · 0 评论 -
高并发的常见应对方案
高并发的常见应对方案*2018-01-19 架构师之路一、关于并发我们说的高并发是什么?在互联网时代,高并发,通常是指,在某个时间点,有很多个访问同时到来。高并发,通常关心的系统指标与业务指标?QPS:每秒钟查询量,广义的,通常指指每秒请求数响应时间:从请求发出到收到响应花费的时间,例如:系统处理一个HTTP请求需要100ms,这个100ms就是系统的响应时间带宽:计转载 2018-01-19 13:25:16 · 393 阅读 · 0 评论 -
再谈HBase八大应用场景
再谈HBase八大应用场景原创 2018-03-22 封神 HBase技术社区* HBase概述*HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司,大公司会投入大量的人力去维护、改进、贡献社区。关于Ne...转载 2018-03-22 22:17:01 · 399 阅读 · 0 评论 -
hive行列转换面试题
一、行转列的使用 1、问题 hive如何将a b 1 a b 2 a b 3 c d 4 c d 5 c d 6变为:a b 1,2,3 c d 4,5,62、数据 test...原创 2018-03-25 17:39:11 · 1046 阅读 · 0 评论 -
centos7 安装jdk 1.8
centos7 安装jdk 1.81、下载jdk1.8 for linux的安装包 jdk-8u11-linux-x64.tar.gz,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u161-b12/2f38c3b165be4555a1fa6e98c45e0808/jdk-8u161-linux-x64.tar.gz2、卸载cento...原创 2018-05-29 23:40:23 · 419 阅读 · 1 评论 -
常用的快捷键(idea,eclipse,lunix)
## ======================== Windows常用操作 ===================== ###、查看端口进程: netstat -ano | findstr "8086"#、强制杀死进程: tskill pid#、根据进程id查询进程信息: tasklist | findstr pid## =======================...原创 2018-10-25 17:42:13 · 171 阅读 · 0 评论 -
linux下安装oracle sqlplus以及imp、exp工具,配置oracle开机自启
oracle有三个默认的用户名和密码:1.用户名:sys密码:change_on_install2.用户名:system密码:manager3.用户名:scott密码:tigerlinux下安装oracle sqlplus以及imp、exp工具1.安装oracle的客户端oracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpmora...原创 2018-12-24 18:25:13 · 2780 阅读 · 0 评论 -
Linux常用命令及时间同步(ntpdate ntp1.aliyun.com)
Linux常用命令Linux常用命令1、 日常操作命令 1、查看当前所在的工作目录的全路径 pwd[test@hdp-node-01 ~]$ pwd/home/test 2、查看当前系统的时间 date[test@hdp-node-01 ~]$ date +%Y-%m-%d2016-05-18[test@hdp-node-01 ~]$ date +%Y-%m-%d --原创 2018-01-14 20:45:33 · 15217 阅读 · 0 评论 -
在intellij idea设置指向源代码(scala)
下载源代码点击这个链接 :http://www.scala-lang.org/download/all.html; 选择需要的版本点击打开;2-11-8 在新打开的网页下方找到源代码下载项: **在intellij idea设置指向源代码** 在intellij中打开File –> Project Structure,快捷键(Ctrl + Alt + Shift原创 2018-01-04 17:19:34 · 7169 阅读 · 0 评论 -
Hbase搭建与学习笔记
HBase课程设计1、HBase基础1.1 基本概念官方地址hbase是bigtable的开源java版本,是建立在hdfs之上。提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松原创 2017-12-28 23:11:44 · 409 阅读 · 0 评论 -
爬虫基础
day01 课堂笔记爬虫是什么爬虫的商业价值(爬虫对那些数据感兴趣)爬取的简单分类爬取的运行原理(*)模拟浏览器发送HTTP请求 http协议(Header,相应状态码)JDK原生的API进行网络请求(get和post) package cn.itcast.reptile;import java.io.BufferedReader; import java.io.InputStr原创 2017-12-18 20:31:01 · 228 阅读 · 0 评论 -
关于bin/storm nimbus >/dev/null 2>&1 &
**关于bin/storm nimbus >/dev/null 2>&1 &**转载 2017-12-20 22:57:36 · 836 阅读 · 0 评论 -
实时计算框架storm基础
1、实时计算阶段安排day01 企业消息队列kafka接收实时产生的数据,用来计算。day02 实时计算框架storm基础day03 实时计算框架storm运行原理day04 实时计算案例之日志告警系统day05 实时计算案例之流量日志分析/交易风险控制系统day06 推荐系统案例day07 推荐系统数据清洗与存储(Hbase、Redis)day08 搜索系统之elasticSear原创 2017-12-20 22:50:30 · 537 阅读 · 0 评论 -
Storm集群安装部署详细手册
Storm集群安装部署详细手册1、安装虚拟机1.1、准备软件1、VMware Workstation 12.zip 虚拟机软件 2、CentOS-6.5-x86_64-bin-DVD1.iso 64位操作系统 1.2、安装虚拟机软件要想成功安装,务必删除掉已有的虚拟机软件 1.3、安装操作系统l 运行虚拟机软件,点击软件右上角的文件,选择新建虚拟机,会弹出新建虚拟机向导页面 l 选择典型原创 2017-12-21 11:27:47 · 734 阅读 · 0 评论 -
Linux Redis 4.0.2 安装部署
Linux Redis 4.0.2 安装部署01 安装GCCyum -y install gcc gcc-c++ libstdc++-devel tcl -y02 下载安装包cd /export/software/wget http://219.238.7.71/files/403400000ABE0C0C/download.redis.io/releases/redi原创 2017-12-23 10:06:39 · 326 阅读 · 0 评论 -
虚拟机中jdk的查看与卸载
1.虚拟机中 jdk的查看与卸载 ok原创 2017-12-23 13:34:32 · 10690 阅读 · 0 评论 -
kafka安装记录
kafka安装记录1、准备环境使用VMware安装3台Linux服务器mini版本hostname 依次为 node01、node02、node03关闭防火墙每台机器都操作一遍service iptables stop && chkconfig iptables off配置网卡配置/etc/hosts文件192.168.140.128 node0原创 2017-12-18 20:19:19 · 172 阅读 · 0 评论 -
HBase集群的部署
hbase是bigtable的开源java版本,是建立在hdfs之上。提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单,不支持join等复杂操作,不支持复杂的事原创 2017-12-28 20:36:03 · 288 阅读 · 0 评论 -
kafka
1、实时计算阶段安排day01 企业消息队列kafka接收实时产生的数据,用来计算。day02 实时计算框架storm基础day03 实时计算框架storm运行原理day04 实时计算案例之日志告警系统day05 实时计算案例之流量日志分析/交易风险控制系统day06 推荐系统案例day07 推荐系统数据清洗与存储(Hbase、Redis)day08 搜索系统之elasticSear原创 2017-12-19 22:50:28 · 486 阅读 · 0 评论