- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 shell脚步配置ssh免密登录 - 第一版
1、作用：配合ssh免密登录，如果在主机比价少的情况下，手动配合所用的时间也很快，但如果主机有上百台上千台，那必须写个脚步来实现自动配置ssh免密。 我在百度、狗狗上搜索了许多教程，都不能实现一键配置，无奈只好自己写一个。只需要在主节点上执行当前脚步，就可以配置全集群的ssh免密。2、配置：centos7系统3、思路：UML图Created w...
2018-03-20 18:29:39
707
原创 MapReduce编程模型
记录一下MapReduce的编程模型，文笔不好，水分较多MapReduce把对大数据集的操作分发给主节点管理下的各个从节点共同完成，然后通过整合各个节点的数据，而得到最终的结果。 简单的说MapReduce：就是将任务分解然后再汇总在hadoop中，执行hadoop任务的角色是JobTracker和TaskTracker JobTracker：用于任务调度 TaskTracker：用...
2018-03-19 13:55:27
484
原创 hadoop生态系统
前言我们先了解一下hadoop，然后再介绍生态系统中各组件以及使用方法。（HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Pig、Flume、Sqoop）hadoop是一个开源框架，可以编写和运行分布式系统来处理大规模的数据集。Hadoop的核心是HDFS和MapReduce。其中HDFS是分布式文件系统，MapReduce是一种编程模型，用于...
2018-03-19 11:33:48
397
1
原创 Storm 全分布式安装配置
Storm 全分布式storm下载地址： apache-storm-1.2.1.tar.gz HostName NameNode DataNode JournalNode Zookeeper nimbus(新增) Supervisor（新增） wpixel01 ✔️ ✔️ ✔️ ✔️ ✔️ wpixel02 ✔...
2018-03-09 11:40:53
479
原创 Spark —— 安装配置
不知不觉正月15过去了了，本来是和家人团圆的日子，像我们这种上班族上哪团圆去。（蓝瘦香菇）蓝瘦归蓝瘦，日子还是要过的搭建Spark的全分布式环境 HostName NameNode DataNode JournalNode Zookeeper Master（新增） Worker（新增） wpixel01 ✔️ ✔️ ✔️ ✔️...
2018-03-03 15:56:53
284
原创 JavaWeb - Excel报表导出（1）
前段时间做Web报表导出，结果数据量太大了频繁报错，上百度一查才知道excel一个页面存放的数据是有限的，大概在6800行左右，而我的数据有上万行，想解决这个办法就只有在超出每页行数限制前新建一页进行存放，所以将工具类进行了修改。jar包：commons-beanutils-1.7.0.jarcommons-lang-2.3.jarjxl.jar工具类1、ExportR...
2018-03-02 10:01:12
585
原创 JS插件开发 - GIS地图打点视图展示
昨天，我下班之后和三哥们儿一起喝酒，喝着喝着就喝高了，于是大家开始聊人生，谈理想，轮到我的时候我说我的理想就是和我爸一样月薪10万，当时他们都惊呆了说：“没看出来了，没想到你也是个富二代”。 误会误会大家都误会了，我爸的理想也是月薪10万。ㄟ(▔,▔)ㄏ这个人呐，活着就得有个盼头，太早达到月薪10万对于我来说并不是一件好事儿，太容易满足了，生活就会变得索然无味，虽然我距离月薪10万还差9万9，...
2018-03-01 17:21:41
3819
转载 爱情是不是前人栽树后人乘凉？
文 | 缓缓君首发 | 缓缓说这是一个真实的故事，故事的男主叫椰子。之所以取这个名字，是因为《大话西游》里，紫霞仙子对着至尊宝的心脏说，你长得好像椰子喔。椰子代表天真的理想主义者，而每一个凡夫俗子，或许都曾有过一颗椰子心。0122岁那年，椰子先生和鹿小姐相识于学校社团，一个是会长，另一个是副会长，两人日久生情，成了众人看好的一对情侣。23岁那年，天有不测...
2018-03-01 15:39:33
1360
原创 什么是数据仓库，什么是ETL
公司最近要搞数据分析，两个项目拥有不同的数据源，有些数据存在Oracle，有些数据存在MongoDB，再加上一些第三方的数据。 要将这些数据整合在一起进行数据分析，得想个解决办法才行，不然我就要跑路了。 可是该怎么做呢 其实说到数据分析，我就会想到hadoop，然后就会联系到数据仓库，我觉得数据仓库就能够非常好的解决这个问题那么什么是数据仓库呢？数据仓库，英文名称Data...
2018-03-01 15:36:25
4874
原创 scala入门
Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。OK，干货，开始。学习这门语言之前最好有其他的开发语言基础，否则会闷逼的1 .变量声明sc...
2018-02-09 23:08:35
185
原创 Hadoop 之 HBase安装与测试
开发环境和工具MAC OSParallels Desktop 12SecureCRTSecureFXhadoop环境Centos7jdk-8u101-linux-x64Hadoop2.8.1zookeeper-3.4.10hbase-1.3.1-bin.tar.gz hostname NameNode DataNode JournalN...
2018-02-06 18:05:14
1665
原创 Centos7安装Mysql
今天水一篇mysql的安装教程startmysql文件下载（linux版）， 不要积分 链接:https://pan.baidu.com/s/1c3cLHz6 密码:ic2m一 .MySQL的数据库1 .解压mysql文件[root@wpixel04 www]# tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar #解压出的
2018-01-30 15:52:33
263
原创 Hadoop Federation + HA 搭建（三） – wordCount测试
一. hadoop环境搭建完毕，现在可以对hdfs进行操作1 .上传文件到hdfs文件系统#创建一个hive文件夹[root@wpixel01 www]# hadoop fs -mkdir /hive#将当前目录的文件上传到hdfs文件系统中的hive目录下[root@wpixel01 www]# hadoop fs -put hadoop-2.8.1.tar.gz /hive#l
2018-01-29 14:59:40
330
原创 学渣学英语（一）- 代词 - 不为应付四六级，只为了解这个美丽的世界
什么是代词：相当于电视剧中的替身演员，虽然用的名词不同，但却指向是同一个对象（就是面向对象的原理❥(^_-)）例：这个男人邀请了这个小女孩，因为他喜欢了她。这里的（他）代替了（男人），（她）代替了（小女孩）代词的种类：（知道就可以了，主要靠理解） 代词 人称代词 我、你、他、她、它、我们、你们、他们、她们 物主代词 我的，你的，他的
2018-01-29 12:27:51
506
1
原创 Hadoop Federation + HA 搭建（二） -- hadoop Federation + HA
Hadoop Federation + HA 搭建（一） – 环境准备一 . 搭建ZK的分布式环境（3台机器，如果ZK是StandAlone的模式，只需要一台机器）1 . 解压Zookeeper包解压到当前目录[root@wpixel01 www]# tar -zxvf zookeeper-3.4.10[root@wpixel01 www]# lltotal 4488-
2018-01-29 12:15:41
797
原创 Hadoop Federation + HA 搭建（一） – 环境准备
开发环境和工具MAC OSParallels Desktop 12SecureCRTSecureFXhadoop环境Centos7jdk-8u101-linux-x64Hadoop2.8.1zookeeper-3.4.10集群节点配置 IpAddr HostName 10.211.55.111 wpixel01 10.211
2018-01-15 14:52:18
596
原创 OLTP和OLAP的区别
OLTP：On-Line Transaction Processing（联机事物处理过程）。也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 经典案例：银行转账 开启事务从转出账号中扣钱从转入账号中加钱提交
2017-12-19 16:58:49
290
GIS地图打点插件封装
2018-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人