- 博客(23)
- 收藏
- 关注
RSS订阅原创 redis搭建公网集群（6个几点三主三从）
## 注意以下是公网搭建，请全部读完了在搭建，你会少走很多弯路1，首先安装redis单机版，网上教程很多就不介绍了。2，redis集群是用的ruby脚本，所以要想执行该脚本，需要ruby环境.。对应redis的源码src目录下的redis-trib.rb，redis-trib.rb是redis官方推出的管理redis集群的工具.3，安装ruby环境 ， Centos默认支持ruby到2...
2018-10-10 17:50:19
3709
原创 spark源码系列--1基本概述
前言：spark源码分析系列 ，文中有错误的地方 请多多指正。体系架构如下，可以看出spark是一个全兼容的生态圈，不一定是最好的，但是是最全面的，一个spark生态圈就可以解决绝大多数数的大数据问题。一、spark基本概念1.Application：就是一个程序，一个jar包，一个war包，也就是通过spark-submit提交的程序2.Driver：就是为这个应用所提供的运行环...
2018-08-15 14:36:26
310
原创 spark sql 踩坑记
sql语句如下：val s = "select a.*,b.* from test1 a left join test1 b on a.cust_id = b.cust_id" + " and a.month_id=201709 and a.day_id=25 and b.month_id=201709 and b.day_id=25 "这条语句会导致a表全表扫描，不会走分区字...
2018-08-06 15:56:09
371
原创 scala集合简介
scala集合体系主要包括（seq有序序列，set无重复元素的集合，map k-v对的集合）1:总体结构2：不可变集合下面的图表显示scala.collection.immutable（不可变集合）中的所有集合类。3：可变集合下面的图表显示scala.collection.mutable（可变所有集合类) ...
2018-06-08 10:05:15
511
原创 hive的优化
一：hadoop框架的特征： 1,不怕数据量大，就怕数据倾斜 2,Jobs 数比较多的作业运行效率相对比较低，如子查询比较多 3,sum,count,max,min 等聚集函数，通常不会有数据倾斜问题二：数据倾斜 由于数据分布不均匀，造成数据大量的key的集中到某一台服务器，造成数据热点三：容易造成数据倾斜的情况 1,group by 不和聚集函数搭配使用的时候 2...
2018-03-04 21:57:14
188
转载 mapreduce的map个数决定因素
转载：https://www.cnblogs.com/codeOfLife/p/5676754.html在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有： 1) 文件的大小。当块（dfs.block.size）为128m时，如果输入文件为128m，会被划分为1个split；当块为2...
2018-03-01 21:13:29
3982
1
转载 hadoop笔记
HDFS:上传文件流程1、根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在 2、namenode返回是否可以上传 3、client会先对文件进行切分，比如一个blok块128m，文件有300m就会被切分成3个块，一个128M、一个128M、一个44M请求第一个 block该传输到哪些datanode服务器上 4、namenode返回datanode的服务器...
2018-02-27 22:49:04
140
转载 saprk笔记
转载自过往记忆: https://www.iteblog.com/archives/1659.html一:spark的执行过程Driver在申请到了作业执行所需的资源之后，Driver进程就会开始调度和执行我们编写的作业代码了。Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批task，然后将这些task分配到各...
2018-02-27 22:23:58
169
转载 哈希散列思想例子
一:给定a,b两个文件，每个存放50亿个URL，每个URL各占64字节，内存限制是4G，找出a,b文件共同的URL大致思路：1、编写hash函数，把这两个文件中的内容都做hash散列，比如a文件和b文件都散裂成1000个文件2、这样相同的url只会出现在从a和b文件散列出来的对应的编号中的文件中3、所以，拿出对应编号的a中和b文件中散列出来的小文件，进行求共同url即可请好好思考hash散列的思想...
2018-02-27 22:10:55
325
1
原创 虚拟机可以访问外网和主机,但是主机不能访问虚拟机的解决办法
1 需要确定虚拟的防火墙已经关闭2 修改vi /etc/sysconfig/network-scripts/ifcfg-eth0配置文件 增加以下参数 BOOTPROTO=none------------------这一行很重要 一定要设置成静态的------否则就会出现标题的问题------------------ IPADDR=192.168.123.210 ## 这一
2018-02-02 23:19:43
9978
原创 mysql行列转换
一;列转行 1:创建表 CREATE TABLE `score` ( `name` varchar(10) DEFAULT NULL, `course` varchar(10) DEFAULT NULL, `score` int(11) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8查询 SELECT * FROM sco
2017-12-23 21:58:31
246
转载 浅谈编码和乱码
一:编码 8个晶体管的开合来可以组合成不同的状态，我们把这种状态称为"字节"。它们一共可以组合出256(2的8次方)种不同的状态。又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号,这样就可以存储文字了,这就是----ASCII(American Standard Code for Information Interchange,美国信息互换标准码
2017-10-31 21:59:53
182
原创 oracle(索引的日常无序积累)
一,oracle的索引种类非常多,一般掌握单列索引和复合索引就可以了二,一般来说在大表上建立索引才有意义索引一般建立在where条件查询频繁的字段,不要在无意义的字段添加索引,那样 会增加数据库的开销三,索引的层次最好不要超过四层四,索引的缺点也是要值得注意的: 1, 建立索引时,维护索引需要的磁盘和内存空间大概为表的1.2
2017-10-28 11:44:11
328
原创 java常用设计模式(观察者模式)
一:观察者模式又可称为发布/订阅(Publish/Subscribe)模式,例如今天发工资了,大家手机都来短信通知了,快看啊,600.~,当到发工资的时候,会自动推送消息到每个人,假如你离职了,财务可以把你的手机移除,有新人入职,又可以添加.还可以给你涨工资601.public interface Salary { //发送短信通知 void sendmessage(); //不给离职人
2017-10-25 22:27:38
114
转载 java常用设计模式(建造者模式)
文章大部分转载自:点击打开链接 在阎宏博士的《JAVA与模式》一书中开头是这样描述建造（Builder）模式的： 建造模式是对象的创建模式。建造模式可以将一个产品的内部表象（internal representation）与产品的生产过程分割开来，从而可以使一个建造过程生成具有不同的内部表象的产品对象。我的理解就是为了解耦,根据客户端的具体情况创建不同的具体的build.pu
2017-10-18 23:28:04
244
原创 java 常用设计模式(工厂设计模式)
什么是工厂设计模式: 所谓工厂就是批量生产相同的产品(红色),假设有100个,分别用到100个地方,现在改变需求了,客户需要用绿色的,那么,你不能每个地方分别new绿色的产品吧,只需要把工厂加的调料变成绿色的就可以了,然后送往各地的颜色就是绿色的了.工厂模式分为三种:简单工厂(静态工厂模式),工厂方法,抽象工厂模式1.简单工厂模式:假设我们有两种颜料,红和绿,在工厂放入什
2017-10-17 21:16:36
230
2
原创 java 常用设计模式(单例设计模式)
一:什么是设计模式 我自己的理解就是,设计模式就是一种高度(物理学家->数学家->哲学家->神学家),一种代码可重复使用的流程,类似我们的模具一样,使工作更加简单,而不是我们每次产一个产品都要在从新生产一个模具,一个就够了,简单的才是最好的.java的设计模式一共有23种,下面我会一一举例说明,希望大家共同讨论,一起分享.1.1单例模式(懒汉式):例如大家在一挖坑,可是只有一把铁锹,
2017-10-16 21:12:06
303
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人