- 博客(76)
- 收藏
- 关注
原创 Hadoop集群完全分布式模式部署
配置网络1.修改主机名master: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=master slave1 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=slave1 slav...
2018-08-31 16:03:42
297
原创 看大数据平台从0到一的回顾
大数据平台构建方法大同小异,但是平台构建以后也面临很多挑战,在面临这些挑战我们如何去克服、修复它,让平台更好满足用户需求,这就是本次主题的重点。下面是本次分享的内容章节,首先讲一下架构1.0与2.0,两者分别是怎么样的,从1.0到2.0遇到了哪些问题;第二部分讲一下数据平台,都有哪些数据平台,这些数据平台都解决什么问题;第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题;...
2018-08-31 10:56:28
177
转载 学习大数据
随着我国城市化发展进程的加速,城市交通拥堵、交通污染日益严重,交通事故频繁发生。这些都是各大城市亟待解决的问题。众所周知,智能交通成为改善城市交通的关键策略。为了缓解城市交通中的各种问题,很多城市都采取各多种手段,比如建设一系列信号控制、视频监控、交通诱导等业务系统,一定程度上缓解了交通问题,无法从根本上实现城市交通的智慧化管理。全面提升交通管理部门的实时监测、全面布局、整体协调能力,要从多个...
2018-08-31 10:52:40
269
原创 hbase与hdfs之间的数据转换
MapReduce功能实现系列:MapReduce功能实现一---Hbase和Hdfs之间数据相互转换MapReduce功能实现二---排序MapReduce功能实现三---Top NMapReduce功能实现四---小综合(从hbase中读取数据统计并在hdfs中降序输出Top 3)MapReduce功能实现五---去重(Distinct)、计数(Count)Map...
2018-08-31 10:04:30
837
原创 springboot详解,你需要掌握的知识都在这里
一、注解(annotations)列表 @SpringBootApplication:包含了@ComponentScan、@Configuration和@EnableAutoConfiguration注解。其中@ComponentScan让Spring Boot扫描到Configuration类并把它加入到程序上下文。yxxy1717 @Configur...
2018-08-30 15:41:22
2474
1
原创 springboot整合资源搭建实时平台
elk 简介 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。 Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 E...
2018-08-30 14:25:21
1017
原创 ssm 整合,一起来学习
配置内容■ solr.properties:主要配置solr的core目录、超时时间参数,可根据业务需求进行添加设置。有需要的联系我2317384986 yxxy1717solr.baseUrl=http://localhost:8081/solr/collection1 solr.connectionTimeout=3000 ■ applicationContex...
2018-08-30 10:15:25
129
原创 kibana Logstash Logstash 你要学习吗?
1.1 kibana概述1.1.1 什么是kibanakibana是一款数据可视化的工具1.1.2 kibana特点1.灵活的分析和可视化平台2.实时总结和流数据的图表3. 为不同的用户显示直观的界面4. 即时分享和嵌入的仪表板1.2 部署Kibana1.安装kibana~] # rpm –ivh kibana-4.5.2-1.x86_64.rpm2. 修...
2018-08-30 09:54:33
131
原创 spark——blockmanager原理与源码分析
BlockManager定义 BlockManager是Spark的分布式存储系统,与我们平常说的分布式存储系统是有区别的,区别就是这个分布式存储系统只会管理Block块数据,它运行在所有节点上。BlockManager的结构是Maser-Slave架构,Master就是Driver上的BlockManagerMaster,Slave就是每个Executor上的BlockManager。...
2018-08-29 22:24:37
357
原创 kafka的集群搭建,一起来学习吧!
启动zookeeper在本地2181端口启动ZK。zookeeper集群启动参考 https://blog.csdn.net/qiushisoftware/article/details/79043379bin/zookeeper-server-start.sh config/zookeeper.properties1如果你需要对zookeeper开启SASL认证,请在配置文件中加...
2018-08-29 16:23:39
192
原创 在别人嘲笑中,证明当初的选择是对的
一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:大数据工程师 数据分析师 大数据科学家 其他(数据挖掘等)二、大数据工程师的技能要求附上大数据工程师技能图:必须掌握的技能11条Java高级(虚拟机、并发) Linux 基本操作 Hadoop(HDFS+MapReduce+Yarn ) HBase(JavaAPI操作+Phoenix ) Hiv...
2018-08-29 14:59:38
222
原创 docker 核心配置与概念
使用docker 拉取镜像时,可能遇到速度慢,或超时的情况,这时可以配置加速器。常用加速器:Docker 官方的中国镜像加速器:从2017年6月9日起,Docker 官方提供了在中国的加速器,以解决墙的问题。不用注册,直接使用加速器地址:https://registry.docker-cn.com 即可。 中国科技大学的镜像加速器:中科大的加速器不用注册,直接使用地址 https://d...
2018-08-29 14:52:40
188
原创 为什么要学习springboot?
Spring诞生时是Java企业版(Java Enterprise Edition,JEE,也称J2EE)的轻量级代替品。无需开发重量级的Enterprise JavaBean(EJB),Spring为企业级Java开发提供了一种相对简单的方法,通过依赖注入和面向切面编程,用简单的Java对象(Plain Old Java Object,POJO)实现了EJB的功能。 虽然Spring...
2018-08-27 16:58:32
292
原创 Hadoop文件配置及作用
目录1 . slaves2 . core-site.xml3 . hdfs-site.xml4 . mapred-site.xml:(注意要将mapred-site.xml.template重命名为 .xml的文件)5.Yarn-Site.xml6 . hadoop-env.sh1 . slaves把所有从节点的主机名写到这儿就可以,这是告诉hadoop进程哪些机器...
2018-08-27 16:17:14
202
原创 大数据-hadoop入门学习
Hadoop由于apache版本的Hadoop存在一些BUG,这里使用cdh5.3.6版本的Hadoop简介Hadoop是一个可靠的、可扩展的、开源的、高可用的分布式并行计算框架主要模块Hadoop Common:为其他Hadoop模块提供基础设施 Hadoop HDFS:一个高可靠的、高吞吐量的分布式文件存储系统 Hadoop MapReduce:一个分布式的离线并行计算框架 ...
2018-08-27 14:01:58
175
原创 kuernetes资源管理,你需要知道
系统资源可分为两类:可抢占资源(CPU)和不可抢占资源(memory、storage)。可抢占资源比如CPU在系统满负荷时会划分时间片分时运行进程,系统整体会变慢(一般不会导致太大的问题)。但不可抢占资源如Memory在系统满负荷时,除了会导致系统变慢,还会进一步导致系统OOM,最终导致某些进程被Linux系统的OOM killer机制杀掉。在Kubernetes平台,默认情况下Pod能够使用...
2018-08-27 11:20:59
223
原创 Linuxx虚拟实现上网
Host-only模式实现联网得考虑如下配置过程:1、安装VMware-Workstation,安装虚拟机Linux(centos、ubuntu等)完毕。2、设置虚拟机上网方式是Host-only,然后确认如下全部ip设置:(1)配置VMware Network Adapter VMnet1(即,主机的虚拟网卡,用来跟虚拟机通信的)查看主机的网络连接设置,找到如图示两个连接。如...
2018-08-27 10:36:40
363
原创 docker镜像你需要了解的
)docker commit方法定义 每一次commit都是往版本控制系统里提交一次变更(软件安装和修改)。 步骤 (1)启动容器:docker run container_old; (2)进入容器:docker exec -it -d container_old /bin/bash; (3)自定义镜像内容; (4)commit镜像:docker commit conta...
2018-08-27 10:15:35
176
原创 大数据,你需要学习的
Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required...于是开始问度娘应该怎样安装,看了几篇博客,虽然和我的问题不十分相同,但是也受到了启发,知道应该怎样解决我的问题了。解决问题的过程总结如下:1、直接使用pip install scrapy安装不成功可以安装whl格式的包首先下载scrap...
2018-08-27 10:08:38
235
原创 spring让你喜欢上他
秒杀系统的架构设计秒杀系统,是典型的短时大量突发访问类问题。对这类问题,有三种优化性能的思路: 写入内存而不是写入硬盘 异步处理而不是同步处理 分布式处理 用上这三招,不论秒杀时负载多大,都能轻松应对。更好的是,Redis能够满足上述三点。因此,用Redis就能轻松实现秒杀系统。 用我这个方案,无论是电商平台特价秒杀,12306火车票秒杀,都不是事:)下面介绍一下为什么上述三种性能优化...
2018-08-26 13:58:52
136
原创 从入门到实践——docker
有需要的联系我2317384986 yxxy1717获取镜像 从 Docker 镜像仓库获取镜像的命令是 docker pull 。其命令格式为: docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]具体的选项可以通过 docker pull --help 命令看到,这里我们说一下镜像名称的格式。Docker...
2018-08-26 13:44:31
107
原创 初识Hadoop
一.从起源开始聊起hadoop的起源也就是谷歌著名的三大论文,或者可以说是谷歌三大论文的开源实现。Hadoop的核心组件有三个:HDFS,Hadoop MapReduce,HBase,分别是谷歌的GFS,Google MapReduce和BigTable的开源实现。另外,有趣的是,Hadoop名字不是一个缩写,而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命...
2018-08-26 13:24:30
137
原创 docker常用命令
一、帮助命令1、查看版本<span style="color:#000000"><code>docker version</code></span>1 2317384986 yxxy1717 2、查看命令帮助信息<span style="color:#000000"><code&
2018-08-24 14:14:54
82
原创 spark——你要知道的小知识
在我们介绍Executor执行Task之前,先看一个重要的类,它就是CoarseGrainedExecutorBackend类 它创建这个进程的时候会调用onStart方法 它是ExecutorBackend粗粒度进程, 它负责向Driver发送Executor的注册请求 它是一个通信的进程,它可以与Driver相互通信 它是Executor所在的一个进程名称,Execut...
2018-08-24 14:09:37
240
原创 Linux下的安装和部署
ElasticSearch@(数据库)[搜索, ES] ElasticSearch linux下ES的安装 elasticsearch.yml配置文件的修改 IK分词器的下载与安装 es启动失败的问题处理 插件工具的下载与安装 Kabana安装与汉化 es_head x-pack linux下ES...
2018-08-24 13:59:52
240
原创 这样的HBASE你知道吗
将下载好的Hbase上传到Centos。2. 解压(这里就懒得改这个版本名称了。。)tar –zxvf hbase-0.99.2-bin.tar.gz13. 重命名mv hbase-0.99.2 hbase14. 修改环境变量1、 在master机器上执行下面命令: su – rootvi/etc/profile1添加内容:ex...
2018-08-23 14:07:49
132
原创 spark就应该这么玩
有需要的 Spark DataFrame 写入 OrientDB val spark = SparkSession.builder().appName("SparkOrientDB").getOrCreate() import spark.implicits._ import spark.sql // Vertex DataFrame spark....
2018-08-23 13:58:48
185
原创 深入浅出的——docker命令详解
前戏准备 一些操作都需要root权限操作,从用户角色转换到root角色命令:sudo su 启动docker服务:service docker start (docker所有的操作,都是基于启动docker服务,不然会报:Cannot connect to the Docker daemon. Is the docker daemon running on this ...
2018-08-22 22:04:45
150
原创 学习是一种快乐,而不是一种乐趣
如何进入服务容器内部**##################################################################使用exec命令进入[root@foundation15 ~]# docker run -d --name vm1 nginx41a0572cdd0e3b70e09ac9f74dcfc341c21ceef2c07dee...
2018-08-22 15:46:35
536
原创 之前有人问我web是什么?懂得的人和不懂得的区别在于你是否看了下面的内容
什么是HTTP协议 HTTP协议(HyperText Transfer Protocol,超文本传输协议)是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,使网络传输减少。它不仅保证计算机正确快速地传输超文本文档,还确定传输文档中的哪一部分,以及哪部分内容首先显示(如文本先于图形)等。 HTTP是一个基于TCP/IP通信协议来传递数据(HTML 文件, 图片文件, ...
2018-08-22 14:31:43
184
原创 这样的大数据HDFS,你不喜欢吗?
1、集群启动后,可以查看目录,但是上传文件时报错,打开web页面可看到namenode正处于safemode状态,怎么处理?解释:safemode是namenode的一种状态(active/standby/safemode安全模式)namenode进入安全模式的原理: a、namenode发现集群中的block丢失率达到一定比例时(0.01%),namenode就会进入安全模式,...
2018-08-22 13:36:34
122
原创 Hadoop的知识——大数据你就是太受欢迎
资源准备资源下载:hadoop官网下载链接 至于安装什么版本,看自己需求 jdk官网下载链接注意事项:注意hadoop,jdk,centos都应该是64位或者32位的,以免出现无法预料的错误建议使用64位的linux 虚拟机配置系统配置:虚拟机:一个master(Master.Hadoop),两个slave(Slave1.Hadoop, Slave2.Hadoop) 网...
2018-08-19 20:45:17
90
原创 别把task不当回事,他可能会阻止你学Python
资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限(单位:MB),默认为1024。如果Map Task实际使用的资源量超过该值,则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Task可使用的资源上限(单位:MB),默认为1024。如果Reduce Task实际使用的资源量超过该值...
2018-08-19 13:37:01
453
原创 这样的 DOCKER你总说不会,现在就在你面前,你还不赶快努力起来
开始安装:由于国内的源比较卡,所以我们推荐使用daocloud的方式,注册安装即可:[root@localhost ~]# curl -sSL https://get.daocloud.io/docker | sh1为了快速拉取镜像,还要接daocloud.因为在国内通常拉取Docker hub的镜像都是被墙的。[root@localhost ~]# curl -sS...
2018-08-19 13:33:56
201
原创 zookeeper 是什么?
第一步 创建docker网段在centos窗口中,执行如下命令:docker network create --subnet=172.20.0.0/16 net71*注:172.20.0.0 网段(读者可以自定义自己所需的网段) 16 子网掩码 net7 网段名称 (读者可以自定义自己所需的网段名称) 说明:在此步创建网段,是为了合理规范便于治理,读者可自行选择是否创建...
2018-08-17 10:52:33
102
原创 都要说大数据很火,但是你知道他中的Hadoop是什么吗
大数据解决四大核心问题:1、数据的存储(Big Data Storage),海量数据需要处理和分析,但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备,并且用一个路径去管理不同平台上的数据。2、数据的计算(Data Calculation),在数据有效存储的基础上,对数据的统计和分析本质上就是数据的计算。在大数据领域...
2018-08-17 10:22:16
382
转载 说了这么多,这就叫hive
Hive是什么:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能;其本质是将HQL转化成MapReduce程序。 构建在Hadoop之上的数据仓库: 使用HQL作为查询接口 使用HDFS存储 使用MapReduce计算 灵活性和扩展性比较好:支持UDF,自定义存储格式等: 适合离线数据处理 H...
2018-08-16 13:46:18
172
原创 HBASE学习是一种乐趣
参考文档:http://blog.csdn.net/it_taojingzhan/article/details/51789739http://blog.csdn.net/blackenn/article/details/52234420http://blog.csdn.net/wtq1993/article/details/53088968Hbase版本http://apache...
2018-08-16 10:51:31
432
原创 spark中的hive
import java.io.File; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.sql.Dataset; import org.apache.spark.sql.Row; import org.apache.spark.sql.SparkSessio...
2018-08-16 10:17:54
179
原创 电梯中的学问,你知道了吗?程序员-
不管你是在北上广还是在港澳台,甚至三四线城市,凡是有规模的地区,高楼比比皆是。不管是写字楼还是大型商城,让你最头痛的就是乘电梯,尤其是在赶时间的时候。每天早上,那些差 5 分钟就迟到的程序员,在等电梯时,一般会做两件事:第一,在心里骂电梯慢;第二,在心里暗算着电梯调度如何优化;前者可能是写字楼里上班族惯有的精神类疾病,但后者肯定是程序员的职业病。本文对“骂电梯”不给予任何指...
2018-08-16 10:10:51
220
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人