自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

学海无涯的博客

做一行,学一行,懂一行,爱一行...

原创 Nginx+OBS+rtmp+VLC实现视频直播网站

背景 本文使用的流媒体服务器的搭建是基于rtmp(Real Time Message Protocol)协议的,rtmp协议是应用层的协议,要依靠底层的传输层协议,比如tcp协议来保证信息传输的可靠性。最后提供了一个不错的测试方案。 流媒体服务器依赖的服务,1.nginx 服务器;2.nginx...

2020-02-06 11:51:48

阅读数 1205

评论数 0

原创 Java和大数据的区别

1架构层面: javaee:三层架构 表现层(web)业务层(service)持久层(dao) 大数据:围绕数据 数据采集 --数据存储–数据计算(分析)–数据展示 2.技术层面: javaee:成熟 解决方案多 技术点集中 大数据:相对年轻 迭代更新快 解决方案相对少 技术相当繁琐 杂 /碎 3...

2019-10-15 15:30:48

阅读数 59

评论数 0

原创 数据分析系统的流程图及架构图

1、大数据平台网站日志分析系统,项目技术架构图: 2、大数据平台网站日志分析系统,流程图解析,整体流程如下: ETL即Hive查询的sql; 但是,由于本案例的前提是处理海量数据,因而,流程中各环节所使用的技术则跟传统BI完全不同: 1)数据采集:定制开发采集程序,或使用开源框架Flume 2...

2019-08-19 10:27:03

阅读数 849

评论数 0

原创 LNMP环境的服务器重启后网站无法访问

原因:MySQL数据库测试不成功或者Nginx服务未设置重启。 最终原因定位为Nginx服务未运行,未设置服务器重启后服务自启。 解决办法: 在/etc/init.d下创建文件nginx vim /etc/init.d/nginx 文件内容如下: #!/bin/sh # # n...

2019-08-16 17:22:39

阅读数 184

评论数 0

原创 Linux系统MySQL初始化后运行报错

问题过程: 初始化数据库: ./mysqld --initialize --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 运行该命令后若出现的报错如下(阿里云CentOS7): error while l...

2019-08-14 16:51:29

阅读数 77

评论数 0

转载 Spark onYarn集群模式搭建

转载此博主https://blog.csdn.net/qq_21439395/article/details/80678372

2019-07-22 16:54:45

阅读数 58

评论数 0

原创 Windows系统tomcat服务startup.bat开机自动后台启动

一万匹马在奔腾,本机装了tomcat8,再装tomcat9设置为自动启动,程序开了机就报错,memory leak…jdbc没有注册错误,网上都是扯淡回答。 附一个百度经验的方法,停了以前服务里面的tomcat8,设置为手动,注册现有tomcat9为自动。完成! ...

2019-07-18 10:16:08

阅读数 169

评论数 0

原创 Kylin深入前对多维分析技术概念的理解

一、数据仓库 1.数据仓库是面向主题的;数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 2.数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询; 3.建设步骤: 收集和分...

2019-06-19 10:27:23

阅读数 118

评论数 0

原创 hive建立内外部表关联HDFS文件

参考此博主文章:https://www.cnblogs.com/fefjay/p/6044474.html 一、关于Hive的insert into 和 insert overwrite与数据分区 1》数据分区:数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包...

2019-06-13 15:31:15

阅读数 759

评论数 0

转载 SQOOP在Hbase与MySQL互导的替代方案

参照贵博主https://www.jianshu.com/p/3be96085660b

2019-06-10 16:29:35

阅读数 210

评论数 0

原创 遇到kylin往hdfs写数据权限问题

问题:Caused by:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, in...

2019-06-05 17:06:35

阅读数 224

评论数 0

转载 Linux配系统置多台服务器系统时间一致(亲测有效)

1.设置服务器A为时间服务器 vim /etc/ntp.conf #最后一行加入下面一行,保存退出 server 127.127.1.0 #重启时间服务器 service ntpd restart 2.B服务器同步A服务器的时间 [root@bak-thinkee ~]# systemc...

2019-05-15 13:03:24

阅读数 670

评论数 0

转载 Kylin在Ambari中运行示例的时候报错

新搭建好的ambari集群,然后发现hive启动失败,我也是醉了,报错如下 WARNING: Use “yarn jar” to launch YARN applications. Logging initialized using configuration in file:/etc/hive/...

2019-05-14 17:27:46

阅读数 80

评论数 0

转载 BUG: soft lockup - CPU#0 stuck for s!

目前看来就是内核中有死循环! 解决BUG: soft lockup - CPU#0 stuck for 61s!问题 1 在网上看到很多软死锁的问题,经过对自己程序的理解,结合网上一些相关资料,基本上可以确定是由于内核bug造成的,这个问题基本上在内核模块加载或者卸载的时候发生,对我的模块而言,每...

2019-05-14 13:04:14

阅读数 1295

评论数 0

原创 HDP2.6.3.0+Ambari2.6.1大数据平台

一、配置流程 http://www.cnblogs.com/zhang-ke/p/8944240.html 参照此博主的博客搭建,本人是3台虚拟机,按要求配置好hostname以及hosts,ssh等基础工作。1、虚拟机配置为:4核8G(定义为低配,有条件的多加还是比较好) 2、在主服务器上...

2019-05-09 14:05:11

阅读数 295

评论数 0

转载 MariaDB数据库

一、介绍 MariaDB数据库管理系统是MySQL的一个分支,主要由开源社区在维护,采用GPL授权许可 MariaDB的目的是完全兼容MySQL,包括API和命令行,使之能轻松成为MySQL的代替品。在存储引擎方面,使用XtraDB(英语:XtraDB)来代替MySQL的InnoDB。 M...

2019-04-22 19:45:13

阅读数 49

评论数 0

原创 Kylin报错汇总

1.问题:java.io.FileNotFoundException: /developer/apache-kylin-2.3.0-bin/tomcat/conf/.keystore (No such file or directory) 解决方法:进入tomcat文件的的conf文件,修改se...

2019-04-11 11:15:00

阅读数 266

评论数 0

转载 Kylin介绍

一、定义: Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,它能在亚秒内查询巨大的Hive表。 二、Kylin执行查询流程分析 Kylin提供了两种执行SQL查询的方式:jdbc访问和http ap...

2019-04-10 17:59:16

阅读数 303

评论数 0

原创 怎样在不知道端口的情况下,查看服务的端口号

ps -ef | grep 服务名,获取—> pid nestat -nlp | grep pid 获取—> port http://ip:port

2019-04-04 16:33:41

阅读数 1175

评论数 0

转载 Kylin使用

1.操作流程: 参考此博客:https://www.jianshu.com/p/e6081391ccc2 2.web端操作配置详情 2.1.打开web界面 Hostto access: http://hostname:7070/kylin Loginwith username/password...

2019-04-04 13:55:37

阅读数 350

评论数 0

原创 召唤麒麟Kylin成功

感谢此博主文献:https://blog.csdn.net/wzy0623/article/details/51283352 zookeeper:zookeeper-3.4.6 mysql:5.7 hadoop:hadoop-2.7.3 java:jdk1.8.0_181 hive:ap...

2019-04-03 16:26:49

阅读数 64

评论数 0

原创 搭建Superset数据分析与可视化平台

一、功能概述: 丰富的数据可视化集 易于使用的界面,用于探索和可视化数据 创建和共享仪表板 与主要身份验证提供程序集成的企业级身份验证(通过Flask AppBuilder进行数据库,OpenID,LDAP,OAuth和REMOTE_USER) 可扩展的高粒度安全/权限模型,允许谁可...

2019-03-26 16:11:54

阅读数 455

评论数 0

转载 kettle下转移mongo中数据到mysql中

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。作为一个数据抽取工具,在建立数据仓库的过程中,免不了需要从不同的数据源中抽取到集中的数据仓库中,下面就拿mongodb抽取到mysql为例,简述抽取数据的步骤: 新建“转换”...

2019-03-22 16:11:20

阅读数 226

评论数 0

原创 H2 Database及java操作

官网 http://www.h2database.com/html/quickstart.html server服务式Demo pom文件: <dependencies> <!-- Junit 依赖--&...

2019-01-23 14:53:20

阅读数 1679

评论数 0

原创 R语言绘制个人优缺点雷达图

以5个变量(即雷达图的5个坐标轴,如表现方面学习能力,工作能力,工作态度,社交能力,团队协作等等)数据为例, 第一步:设置各个变量的取值范围(即最小值和最大值,相当于二维图的x轴和y轴的取值范围),代码如下 maxmin<-data.frame(学习能力=c(50,0),工作能力=c...

2019-01-21 14:34:30

阅读数 1191

评论数 0

原创 MDX语句(初学者)

一、什么是MDX MDX语句(MultiDimensionalExpressions)是一种语言,支持多维对象与数据的定义和操作。它可以表达在线分析出来数据卡上的选择、计算和一些元数据定义等操作,并赋予用户表现查询结果的能力。 MDX是由Microsoft,Hyperion等公司研究多维查询表达式...

2019-01-15 17:16:26

阅读数 812

评论数 1

转载 Windows7系统安装Kettle

一、Kettle概念 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle这个ETL工具...

2019-01-10 17:20:24

阅读数 153

评论数 0

原创 Memcached入门

一、简介 Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端...

2018-12-18 16:08:49

阅读数 59

评论数 0

转载 Storm优化

1、使用rebalance命令动态调整并发度 Storm计算以topology为单位,topology提交到Storm集群中运行后,通过storm rebalance 命令可对topology进行动态调整。比如增加Topology的worker数,修改Bolt,Spout的并行执行数量 paral...

2018-12-18 15:35:29

阅读数 127

评论数 0

原创 CentOS 7 Storm集群搭建详细版

一、环境准备 操作系统: CentOS7.0 Zookeeper版本:zookeeper-3.4.10 Storm版本:apache-storm-1.1.0 JDK版本:jdk1.8.0_77 集群配置如下: 二、前提条件 2.1.安装配置JDK1.8 Ce...

2018-12-18 14:44:09

阅读数 342

评论数 0

转载 浅谈Hive和HBase有哪些区别与联系及适用场景

在学大数据分析的过程中,Hive和HBase是两个非常重要的内容,对于初学者而言容易混淆。所以比较两者的联系与差别,能够帮助我们对这两个组件有一个清晰的认识和定位。那么,Hive和HBase有哪些区别与联系以及适用于哪些场景呢? 首先还要从两者的概念入手。Hive是运行在Hadoop上的一个工具,...

2018-12-14 15:06:06

阅读数 167

评论数 0

原创 Linux报错ping: https://www.baidu.com: Name or service not known

问题: [root@localhost104 softwares]# ping https://www.baidu.com ping: https://www.baidu.com: Name or service not known 没有默认的网关,需要添加 [root@localhost104 ...

2018-12-06 14:31:21

阅读数 3556

评论数 0

原创 CentOS7.X安装mongodb-3.4.2

安装mongodb 1、下载安装mongodb3.4.x cd ~ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.2.tgz tar -zxvf mongodb-linux-x86_64-3.4.2.tgz cp -r...

2018-12-06 13:58:07

阅读数 91

评论数 0

转载 nginx安装插件直接对接kafka集群

安装环境: centos 6.5 64位 所需软件版本: jdk1.8.0_171 nginx-1.12.2.tar.gz kafka_2.11-0.10.2.1.tgz zookeeper-3.4.5.tar.gz scala-2.11.4.tgz 所需服务器:4台(三台安装scala、zook...

2018-12-06 11:32:10

阅读数 179

评论数 0

原创 Nginx启动提示找不到libpcre.so.0解决方法

错误提示: error while loading shared libraries: libpcre.so.0: cannot open shared object file: No such file or directory,意思是找不到libpcre.so.1这个模块,而导致启动失败。 解...

2018-12-05 17:09:33

阅读数 1355

评论数 0

转载 执行make出现:make: *** No rule to make target `build', needed by `default'. Stop.

1.安装nginx执行./configure…会在最后报以下几种错误,之后执行make就会报:make: *** No rule to make target build', needed bydefault’. Stop.错误。 注:个人经历,错误1、2、3可能会逐个出现,所以出现那个...

2018-12-05 11:14:00

阅读数 555

评论数 0

原创 用Java连接Redis出现的问题

1.连接用java连接redis时报如下错误,连接超时 Exception in thread “main” redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: Software ca...

2018-12-05 09:41:46

阅读数 306

评论数 0

转载 Redis数据库单机版与集群版安装参考

https://yq.aliyun.com/articles/613281 https://blog.csdn.net/a623982022/article/details/78900638

2018-12-05 09:37:16

阅读数 22

评论数 0

转载 Linux操作系统安装Mongodb(二)

1、下载安装Mongodb cd进入/usr/local/src cd /usr/local/src wget下载 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.6.0.tgz tar解压 tar zxvf mong...

2018-12-04 10:53:30

阅读数 32

评论数 0

原创 使用spark实现max/min/topN等经典mapreduce问题

问题导读: 使用spark如何实现最大值最小值问题? 使用spark如何实现平均值问题? 使用spark如何实现topN问题? 摘要 Spark是一个Apache项目,它被标榜为“快如闪电的集群计算”。它拥有一个繁荣的开源社区,并且是目前最活跃的Apache项目。Spark提供了一个更快、更...

2018-11-26 15:19:05

阅读数 568

评论数 0

提示
确定要删除当前文章?
取消 删除