- 博客(34)
- 收藏
- 关注
RSS订阅原创 MapReduce读取Mysql数据
MapReduce编程流程编写Map类实现Mapper接口编写Reduce类,实现Reducer接口编写Driver实例化Job设置启动类设置Map,Reduce类设置Map,Reduce的输出输入KV类型启动job自定义序列化流程实现Writable接口覆写write和readFields方法,读写顺序保持对应package com.lrj.mr;imp...
2020-02-02 17:26:17
689
原创 Spark RDD的关联操作
Spark RDD的关联操作join 关联Spark默认的join是inner join操作,即两边都有的键初始化val a1=sc.parallelize(Array(("K1","V1"),("K2","V2"),("K3","V3")))val a2=sc.parallelize(Array(("K1","V2"),("K3","B3"),("K4","V4")))joina...
2020-01-06 00:04:03
846
原创 Spark RDD翻译--未完
2.4.4RDD Programming GuideRDD编程指导OverviewAt a high level, every Spark application consists of a driver program that runs the user’s main function and executes various parallel operations on a clus...
2020-01-01 23:59:30
580
1
原创 Aerospike Stream使用实例
Aerospike Stream使用实例求解目标计算5分钟内,用户的平均交易额数据模型userId – 用户唯一标识amount – 交易金额tradeTime – 交易时间city --交易城市代码Lua脚本--[[ 以userId为维度,聚合某个节点某个数据分区的数据 users--存储数据分区所有用户的交易情况的大map record--某一...
2019-12-11 14:21:52
216
原创 Aerospike UDF Development Guide
User-Defined Functions (UDF) Development GuideIntroduction在Aerospike中,UDF是指可以运行在Aerospike数据库服务器上的一段代码,使用lua脚本语言进行编程(也可以是被lua脚本调用的C语言)Aerospike的UDF主要有两种,一种是针对单条记录的(Record UDF)和流式UDF(Stream UDF).单条记...
2019-12-10 19:06:28
420
原创 Aerospike文档阅读翻译
AerospikeUDFRegister a UDF三种注册方式ASCII Text FileASCII Text File Embedded in a Java ResourceJava StringRegister UDF in ASCII Text FileRegisterTask task = client.register(null, "/home/user/udf/...
2019-12-06 17:36:22
615
原创 ThreadLocal线程隔离
ThreadLocal一个例子public class ThreadLocalTest { private static ThreadLocal<Long> threadLocal = new ThreadLocal<Long>() { @Override protected Long initialValue() { ...
2019-11-26 11:27:12
220
原创 hashmap 1.7死循环问题
经常听人说起JDK1.7 HashMap死循环问题,一直没看过,今天试着看一下HashMap数据结构主要有一个hash table(就一数组)和Node(每一个key-value组成一个Node)hash表是数组,对于数组来说,读取任意位置的元素都是O(1),因为数组的首位置知道,读取任意下标的元素,只是偏移指定的位数,就是俗称的随机存取如果hash碰撞,同一个hash值的Node会采用拉链...
2019-10-18 01:09:37
1164
原创 golang试玩
Go的安装Go安装只需要去go官网下载msi或者zip文件进行安装或者解压就行了,无脑next,配置Go的bin目录到path就可以了需要注意的是,配置GOPATH为项目文件路径,路径下包含三个文件夹,lib,pkg,src,其中src是存放我们所有的文件的地方,记得配置package mainimport ( "fmt" "math" "time")const name...
2019-10-16 23:31:34
84
原创 修改Java版本不生效的原因
最近编译Elasticsearch 7.x,发现ES7需要java 11以上,但是平时都是使用java 8,索引新建了环境变量JAVA_11=xxxJAVA_HOME指向JAVA_11JAVA_HOME=%JAVA_11%PATH=xxx;%JAVA_HOME%\bin;发现再次使用java -version时还是java 8索引排查了一下,原来是命令优先级的问题cmd所使用的命令都...
2019-09-12 16:57:21
402
原创 单例,单例!
单例模式单例模式的写法饿汉式懒汉模式(延时加载)双重检查锁枚举内部类饿汉式饿汉式是绝对线程安全的,但是会导致一个问题,不管用不用都会创建对象,多个无用的单例对象,造成不必要的内存浪费,拖慢系统的启动过程// 饿汉式两种写法class Hungry { private static final Hungry instance = new Hungry(); ...
2019-08-05 12:43:13
124
原创 IO模型的同步,异步,堵(阻)塞和非堵(阻)塞的区别
IO模型的同步,异步,堵(阻)塞和非堵(阻)塞的区别同步异步,堵塞非堵塞这两组概念并不冲突同步和异步 针对的是 结果的通知机制堵塞和非堵塞 针对的是 在结果返回之前,调用方的状态同步: 调用方主动等待结果放回异步: 调用方不需要主动等待结果返回,而是采用其他手段如状态通知,回调函数等堵塞: 在结果返回之前,当前线程被挂起非堵塞: 在结果返回之前,当前线程可以干别的事组合同步...
2019-08-01 01:09:02
163
原创 计算机网络体系结构
计算机网络体系结构OSI七层模型开放系统互连模型(Open System Interconnect,简称OSI),共分七层，物理层、数据链路层、网络层、传输层、会话层、表示层、应用层TCP/IP模型OSI模型比较复杂且学术化，实际生活中使用的是TCP/IP模型,共分4层，链路层、网络层、传输层、应用层TCP/IP协议族Transmission Control Protocol/Int...
2019-08-01 00:36:55
84
原创 Hive - 基础4 大综合练习
Hive - 基础4 大综合练习1.需求需求:每个区域的受欢迎的产品的Top N2.准备数据-- Mysql数据库-- 城市表CREATE TABLE `city_info` ( `city_id` int(11) DEFAULT NULL, `city_name` varchar(255) DEFAULT NULL, `area` varchar(255) DEFAUL...
2019-07-27 03:28:06
165
原创 Hive基础 - 3 function & complex type & partition
Hive - function & complex type & partitionFunction 函数json_tuplejson_tuple和get_json_object类似,但是可以一次取多个值,效率要高A new json_tuple() UDTF is introduced in Hive 0.7. It takes a set of names (keys...
2019-07-24 13:15:52
231
原创 Hive - 基础2 DDL&DML& Function
Hive - 基础2 DDL&DML& FunctionDDL`CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive ``0.14``.``0` `and later)`` ``[(col_name ...
2019-07-23 11:56:03
167
原创 Hive基础-1
Hive基础-1Hive是Apache社区的一个顶级项目,由facebook贡献出来,hive的出现主要是解决海量的结构化日志的统计问题,因为使用传统的Hadoop MapReduce来开发业务逻辑繁琐,让开发人员很痛苦,周期比较长.而Hive可以将SQL转换成MR作业,减少了开发人员的任务.Hive 刚开始时是作为Hadoop项目的一个子项目的，后面才单独成为一个项目需要注意几点的是:...
2019-07-18 16:22:09
126
转载 Hadoop -Yarn Scheduler调度器
Hadoop -Yarn Scheduler调度器理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供...
2019-07-16 01:02:10
148
原创 Hadoop - MapReduce on Yarn
Hadoop - MapReduce on Yarn1.word count# 启动hdfs和yarnstart-dfs.shstart-yarn.sh# 提交任务hadoop jar /hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /logs /example...
2019-07-16 00:55:21
150
原创 Hadoop - mapreduce作业流程
Hadoop - mapreduce作业流程客户端提交作业任务给ResourceManaher的ApplicationsManagerApplicationsManager收到请求，与某个NodeManager进行RPC通信，要求NodeManager启动一个Container容器来运行我们作业的ApplicationMasterApplicationsMaster启动完成后，想Appli...
2019-07-13 19:19:30
151
原创 Hadoop - container on yarn
Hadoop - container on yarnhadoop 2.x版本的mapreduce任务都提交到yarn框架执行container定义：将一定的内存和CPU,如4G内存，1个vcore抽象成一个container任务都是运行在container里vcore：虚拟核数，一般是机器实际core的2倍yarn参数配置细节假定机器配置为64G,16corelinu...
2019-07-13 18:28:00
260
原创 Hadoop 读写流程和常用命令
Hadoop 读写流程和常用命令1.读流程client向分布式文件系统DistributionFileSystem发送读请求分布式文件系统与NameNode进行Rpc通信NameNode对文件是否存在,用户是否有权限等进行校验,校验如果成功,则向分布式系统返回一个FsDataInputStream对象(包含了文件由哪些块组成,block分布在哪些节点等等信息)client...
2019-07-08 17:58:53
359
转载 HDFS 块损坏和恢复
HDFS 块损坏和恢复# 先建个文件echo 'The NameNode and DataNode are pieces of software designed to run on commodity machines. These machines typically run a GNU/Linux operating system (OS). HDFS is built using th...
2019-07-07 16:40:01
459
原创 Hadoop - block,replication,architecture
Hadoop - block,replication,architecture1.Blockhadoop2.0以上,一个block块的大小为128m,hadoop2.0以下为64mblock块为128m,并不意味着存储就是128m,打个比方,一瓶水500ml,用150ml的杯子来分,那么至少需要4个杯子,3*150ml=450ml,剩下的一个杯子只有50ml了,这个150ml就相当于一个b...
2019-07-07 13:59:25
639
原创 Hadoop基础 2-mapreduce&yarn
Hadoop基础 2hadoop整体架构(主从架构)NameNode 名称节点 老大DataNode 数据节点Secondary NameNode 名称节点 老二Hadoop最好使用hostname进行节点配置对于虚拟机,配置规则: 内网 ip hostname对于云主机,配置规则: 内网ip hostname但是云主机需要添加公网访问权限,设置安全组CloudMan...
2019-07-06 19:15:57
114
原创 Hadoop 伪分布式安装
Hadoop 伪分布式安装#下载tar包http://archive.cloudera.com/cdh5/cdh/5/wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz# 新建一个专门管理hadoop的用户useradd hadoopsu - root# 安装java,需要安装java在/...
2019-07-01 19:58:38
129
原创 MySQL基础语法 2
MySQL基础语法 2排序 order by--默认是升序-- 单个字段排序select * from student order by stu_no; select * from student order by stu_no ascselect * from student order by stu_no desc-- 多字段排序-- 按学号升序,按年龄降序排列selec...
2019-06-30 19:09:40
246
原创 ReentrantReadWriteLock 读写锁学习
ReentrantReadWriteLock读写锁学习–未完JDK1.8读写锁包含了两个锁,读锁readerLock,写锁writerLock读锁和写锁的的lock()都使用了同一个同步器Sync,唯一区别的是一个是共享锁一个是排它锁//读锁public void lock() { sync.acquireShared(1);}//写锁public void lock() {...
2019-06-28 14:05:00
100
原创 Mysql基础语法 1
Mysql基础语法 1数据类型整数类型intintegerbigintlong…浮点数doublefloatdecimal…字符串char 定长varchar 不定长,必须设置最长限制blob 二进制方式存储,适合大数据量text 可变长度,长文本…时间和日期time HH:...
2019-06-28 11:23:43
92
原创 mysql多实例安装(tar)
mysql多实例安装解压tar -zxvf ./mysql-5.7.9-linux-glibc2.5-x86_64.tar.gzmv mysql-5.7.9-linux-glibc2.5-x86_64 mysql-5.7.9ln -s /home/xxx/mysql-5.7.9 /usr/local/mysql安装依赖yum -y install perl perl-deve...
2019-06-24 23:31:35
95
原创 Linux 安装mysql(tar安装,单实例)
Linux 安装mysql# 解压tar -zxvf mysql-5.7.9-linux-glibc2.5-x86_64.tar.gzmv mysql-5.7.9-linux-glibc2.5-x86_64 /usr/local/mysql-5.7.9# 创建mysql数据目录mkdir -p /data/mysql/data# 修改权限chown -R mysql:mysql ...
2019-06-24 00:24:45
478
原创 linux常用命令- 4
linux常用命令- 4vi 相关命令vi README# 删除当前行dd# 删除光标所在行以及以下所有行dG# 删除n行,从当前行开始往下,包括当前行# 删除2行,从当前行开始往下,包括当前行2dd# 跳转到第一行第一个字符gg# 跳转到最后一行的第一个字符G# 跳到行尾shit+$# 跳到行首0# 当前位置追加,进入编辑模式shift+a#...
2019-06-23 13:17:54
93
原创 linux常用命令 - 1
linux常用命令# 到homecdcd ~# 返回上一级cd ..# 返回多级cd ../..# 返回之前的目录cd -# 查看文件大小du sh /du sh ./my.log# 查看当前位置pwd# 查看当前文件夹下的文件ls ./ll ./ls -l ./# 创建文件夹mkdir /data# 创建多级文件夹mkdir -p /data/log...
2019-06-22 13:44:16
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人