2018年03月_lyzx_in_csdn

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创《深入理解Spark》之SparkSql复习

XML Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2018-03-27 15:54:46 390

原创 ZooKeeper中边边角角的知识总结

1、ZooKeeper中临时节点的原理是什么？每一个ZooKeeper客户端在服务器端都对应一个session，临时节点的生命周期是session级别的，当客户端和服务端失去连接后ZooKeeper服务端中对应的session也随着消失，所以临时节点也消失2、ZooKeeper的原生客户端中ZooKeeper对象的close方法做了哪些操作？ 12345678/** * Close thi...

2018-03-24 15:06:06 208

原创深入理解java中的join方法

1、join()方法的作用是使线程串行化,比如在线程A中调用线程B的join方法,则线程A执行完后线程B再执行,注意一定要放在一个线程开启之后public void joinTest1(){ Thread r1 = new Thread(new X(),"A"); Thread r2 = new Thread(new X(),"B"); r1.start(); tr...

2018-03-24 12:38:01 3480 6

在移动互联网到来之际手机上充满着大量的App,其中质量层次不齐,尤其是在安卓生态系统中,app质量更是相差太多，本人去喜马拉雅面试了,面试岗位:大数据开发工程师总共面试了3轮第一轮面试是java基础和大数据基础第二轮面试是java和大数据的扩展(对我来说是扩展,对于基础好的人来说那还是基础)第三轮面试是项目经验和产品体验经过面试之后才发现自己是多么渺小,虽然没有被完虐但也发现自己太多的不足了(失败...

2018-03-24 00:53:01 1838

原创《Hbase权威指南》之Hbase环境安装

节点情况1、免秘钥登录ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa(主节点，在需要做免秘钥的机子上执行这句话)ssh-copy-id nodeX (发送给从节点,然后发送秘钥给从节点)2、下载安装包并解压tar -zxvf hbase-0.98.12.1-hadoop2-bin.tar.gz -C ./../soft/3、修改配置文件cd hb...

2018-03-12 10:05:57 216

原创《Hive编程指南》之一篇文章看懂Hive的基本操作

1、Create/Drop/Alter/Use DatabaseCreate DatabasesCREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_v...

2018-03-11 11:02:44 366

原创《Hive编程指南》之Hive环境安装

Hive1、解压2、配置(HADOOP_HOME),HiVE_HOME等环境变量3、修改配置文件hive/conf>> cp hive-default.xml.template hive-site.xml>> 修改hive.metastore.schema.verification的值为false>> 创建hive/tempData目录,替换${sy...

2018-03-10 15:21:21 304

原创《Hadoop权威指南》之史上最简单的Hadoop环境搭建

hadoop-2.7.3版本1、安装java环境2、hadoop/etc/hadoop/hadoop-env.sh>> JAVA_HOME = /root/java/jdk83、在命令行输入hadoop就会有提示信息,说明最基本的环境已经安装完成4、配置namenode的节点信息 hadoop/etc/hadoop/core-site.xml<configurat...

2018-03-10 10:22:36 451

原创《Hadoop权威指南》之HDFS文件读写的过程

文件读取示意图1、首先客户端通过FileSystem(就是HDFS的一个实例)的open方法打开要读取的实例2、通过RPC调用请求NameNode这个文件的起始块的信息，NameNode会向客户端返回一个带有这个文件的起始块的列表这个列表是排好序的，即按照存在起始块的DataNode和客户端的距离(根据网络拓扑结构确定)3、客户端对最近的DataNode节点调用Read...

2018-03-10 10:16:24 1537

原创《Hadoop权威指南》之Federation(联邦)初体验

当面度超大规模的存储时，HDFS的namenode节点的内存可能会吃不消，所以在Hadoop 2.x版本中提供了联邦来解决这个问题解决思路是Federation允许HDFS集群添加多个Namnode来扩展集群即一个Namenode存不下太多的元数据就让多个Namenode来存储，每个Namenode只存储一部分逻辑结构如下一个Namenode存不下的元数据被分配到多个Namenod...

2018-03-09 16:05:08 342

原创《Hadoop权威指南》之HA初体验

Hadoop的1.x版本有一个比较严重的问题就是Namenode的单点问题当nameNode挂了后整个集群就不能不能用了，为了解决这个问题在hadoop2.x版本中引入了HA的概念即高可用大致思路是多配置介个namenode，但是只有一个真正对外提供服务，即1+N个namenode节点，1个是active状态其他的都是standby状态，只有active状态的namenode对外提供服务，...

2018-03-09 15:47:55 180

原创《Hadoop权威指南》之hadoop的架构

废话不多说直接看图一、hadoop的架构 1>从物理架构来看一个叫Master的机器管理者3台叫slaveX的节点 2>从逻辑的角度来看 a:HDFS 一个NameNode节点管理着3台DataNode节点 b:Yarn 一个ResourceManager管理者3台NodeManager二、各个角色的作用 N...

2018-03-09 15:14:18 253

原创 Redis中使用lua之lua环境安装

lua脚本安装1、下载redline库的支持yum install -y readlineyum install -y readline-devel2、下载lua 5.1版本并安装如果没有安装wget先安装wget命令yum -y install wget yum -y install setup yum -y install perlwget http://www.lua.or...

2018-03-04 10:33:31 1026

原创 ZooKeeper应用场景之消息发布订阅的简单代码实现

这个是主类的代码，用两个线程模拟消息发布者和订阅者package com.lyzx.zk.test.multiThread;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper...

2018-03-03 13:43:31 1159

原创 ZooKeeper环境搭建

1、下载安装包zookeeper-3.4.9.tar.gz2、解压tar -zxvf zookeeper-3.4.9.tar.gz -C path3、cd zookeeper-3.4.9.tar.gz/conf 4、cp zoo_sample.cfg zoo.cfg5、vi zoo.cfg>>dataDir=/root/soft/zookeeper-3.4.9/da...

2018-03-02 18:18:28 169

原创 java的RMI介绍

RMI 即远程方法调用jvm1的类要使用jvm2的一个类的方法可以使用RMI实现大致思路:jvm2把自己的一个类通过注册表的形式发布出来(通过字符串和类的映射关系)jvm通过这个字符串(类似于远程引用)去获取服务端的类的代理对象,然后调用其中的方法如上图新建了两个工程一个模拟客户端一个模拟服务端，其中红色部分为公共部分即客户端和服务端一模一样服务端代码列举:定义一个接口其中的方法供客户端使用 XM...

2018-03-02 17:36:27 511

原创 ZooKeeper原生Api基本操作

XML Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 3...

2018-03-01 13:22:56 234

原创 Zookeeper客户端命令行的基本使用

XML Code 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 创建一个节点 create [-e -s] /sxt "value" -s 表示序列,会在节点的名字后添加一个...

2018-03-01 10:59:49 276

parquet文件测试

String[] access_log = { "111111", "22222", "33333", "44444", "55555", "666666", "777777", "888888", "999999", "101010" }; for(int i=0;i<1000;i++){ writer.write(groupFactory.newGroup() .append("log_id", Long.parseLong(access_log[0])) .append("idc_id", access_log[1]) .append("house_id", Long.parseLong(access_log[2])) .append("src_ip_long", Long.parseLong(access_log[3]))

2023-03-02

TA关注的人

凌夜知惜