- 博客(25)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 最小生成树算法kruskal和prim
图结构如下 直接贴代码import java.util.*;public class KruskalPrim { public static int[][] adjMat = null; static { //用二维矩阵存储图 adjMat = new int[6][6]; adjMat[0][1] = 6; adj...
2018-06-30 19:34:37
369
原创 获得parquet文件的schema 合并parquet小文件
获得parquet文件的schemaimport org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.par...
2018-06-22 17:07:40
6159
原创 爬取新浪股票财务数据
# coding=utf-8import HTMLParserimport urllib2import systype = sys.getfilesystemencoding()# 截止日期# 每股净资产# 每股收益# 每股现金含量# 每股资本公积金# 固定资产合计# 流动资产合计# 资产总计# 长期负债合计# 主营业务收入# 财务费用# 净利润class S...
2018-06-19 15:05:06
5104
原创 sqoop-1.99.7配置以及任务提交
安装说明下载wget http://mirror.bit.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gztar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gzmv sqoop-1.99.7-bin-hadoop200 sqoop配置环境export HADOO...
2018-06-12 15:43:25
1113
原创 leetcode376 摆动序列
如果连续数字之间的差严格地在正数和负数之间交替，则数字序列称为摆动序列。第一个差（如果存在的话）可能是正数或负数。少于两个元素的序列也是摆动序列。例如， [1,7,4,9,2,5] 是一个摆动序列，因为差值 (6,-3,5,-7,3) 是正负交替出现的。相反, [1,4,7,2,5] 和 [1,7,4,5,5] 不是摆动序列，第一个序列是因为它的前两个差值都是正数，第二个序列是因为它的最后一个...
2018-06-11 17:57:30
745
转载 Java并发编程：volatile关键字解析
转载：https://www.cnblogs.com/dolphin0520/p/3920373.htmlvolatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情...
2018-06-11 14:45:37
298
原创 mvn依赖树排除包冲突
在工作中经常碰到jar冲突的问题，有些jar并没有在pom.xml配置，但由于与某些jar存在依赖关系所以被引入项目中，有时候这些被引入的jar并非你所需要，而且和你pom.xml配置的dependency冲突，这时候就需要将这些冲突的jar排除出去，具体办法如下在项目的更目录下执行如下命令：mvn dependency:tree输出如下：[INFO] ----------...
2018-06-11 10:41:44
1352
原创 ubuntu安装thrift
环境要求如下Basic requirementsA relatively POSIX-compliant *NIX systemCygwin or MinGW can be used on Windows (but there are better options, see below)g++ 4.2 (4.8 or later required for thrift compi...
2018-06-11 10:40:32
1144
转载 keepalived选举策略
转载地址忘记了，sorry在Keepalived集群中，其实并没有严格意义上的主、备节点，虽然可以在Keepalived配置文件中设置“state”选项为“MASTER”状态，但是这并不意味着此节点一直就是Master角色。控制节点角色的是Keepalived配置文件中的“priority”值，但并它并不控制所有节点的角色，另一个能改变节点角色的是在vrrp_script模块中设置的“weig...
2018-06-10 11:13:24
1090
原创 Ubuntu 16.04安装微信
微信没有出Linux的版本，但是可以通过以下方式解决：1、使用网页版，除了没有公众号之后，一切都没问题，包括传文件等。网页登录地址：https://wx.qq.com/2、使用第三方版本，只不过这个是桌面应用，原理是通过网页API集成的，稳定性还是可以的。网站：https://github.com/geeeeeeeeek/electronic-wechat/releases，离线版...
2018-06-10 11:12:00
579
原创 python调用jar
下载jpypegit clone https://github.com/originell/jpype.git/home/work/soft/python/bin/python setup.py install被调用的jar/home/work/soft/common-utils-1.0-SNAPSHOT.jar测试:import os.path from jp...
2018-06-10 11:10:21
997
1
原创 jvm内存以及gc浅见
java虚拟机内存包括两部分：新生代和来年代，其中新生代包含Eden和两个Survivor，Eden和survivor的大小比例为8:1,创建对象首先分配在Eden和其中一个survivor（假定是survivor1），survivor2是备用的内存区域，在垃圾回收的时候会用到；当新生代内存不足分配空间创建对象，就会触发minor gc开始垃圾回收；垃圾回收步骤如下：将Eden和surv...
2018-06-10 11:09:22
354
原创 jstat命令详解
注意：以下参数是基于jdk-1.5，最新的参数请参照官网 https://docs.oracle.com/javase/9/tools/jstat.htm#JSWOR734Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statistics monitoring tool”，它位于java的bin目录下，主要利用JVM内建的指令对Java应用程序的资...
2018-06-10 11:07:48
1660
1
原创 hive-2.1.1配置安装
其实在公司我们用的是0.13.0这个版本，看见官网有2.1.1版本，所以想先体验下，具体这两个版本有啥区别，还没有去研究过 先说下hive安装的几种方式 1. 内嵌方式，使用的是derby数据库存储元数据，默认也是采用的这种数据库，但是有个缺点，一次只能有一个hiveclient链接 2. 本地模式，使用本地的mysql数据库存储元数据 3. 远程模式，mysql和hive独立开来在公...
2018-06-10 11:03:44
814
原创 yarn架构设计
注释：1.客户端提交请求 2.与资源调度器协调启动AM 3.在container上启动AM 4.AM向ASM注册，这样ResourceManager就可以查看程序的运行状态，AM就可以为任务申请资源 5.AM采用轮询的方式通过RPC协议向ResouceManager申请和领取资源 6.AM申请到计算资源NM 7.NM启动分配container启动task名词解释...
2018-06-10 11:01:10
401
原创 spark2.1 新特性
Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久...
2018-06-09 19:01:36
999
转载 spark消费kafka的两种方式
转载：http://blog.csdn.net/wisgood/article/details/51815845Spark-Streaming获取kafka数据的两种方式Receiver与Direct一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据...
2018-06-09 18:58:40
12171
原创 spark之用hadoopAPI读写文件
saveAsNewAPIHadoopFIle和saveAsHadoopFile的的区别引用的outputFormat的类路径不同，saveAsNewAPIHadoopFIle用的OutputFormat是import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat，saveAsHadoopFile用的是org.apache.had...
2018-06-09 18:52:24
10403
原创 spark任务提交流程(standalone)
spark程序使用spark-submit方式提交，如果是standalone集群的话，会在提交任务的节点启动一个driver进程； dirver进程启动以后，首先是构建sparkcontext，sparkcontext主要包含两部分：DAGScheduler和TaskScheduler TaskScheduler会寻找Master节点，Master节点接收到Application的注册请求后...
2018-06-09 18:43:09
1592
原创 spark 提交任务方式（spark-yarn和spark-client）
yarn-cluster和yarn-client方式的区别：yarn-cluster的ApplicationMaster在任一一台NodeManager上启动，申请启动的Executor反向注册到AM所在的NodeManager，而yarn-client方式的用ExecutorLancher替代AM，ExecutorLancher的作用很有限，它向RM申请一批container启动Exec...
2018-06-09 18:40:14
1893
转载 Spark Shuffle原理及相关调优
转自：http://sharkdtu.com/posts/spark-shuffle.html 通过文章“Spark Scheduler内部原理剖析”我们知道，Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作，下游Stage做reduce工作，其本质上还是MapReduce计算框架。Shuffle是连接map和reduce之间的桥梁，它将map的输出对应到...
2018-06-09 18:27:56
474
原创 spark driver 提交启动流程
向spark集群（standalone）提交作业,我们通常用如下命令./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 10...
2018-06-09 18:20:42
1846
1
原创 spark application 注册
之前介绍了Driver进程的启动流程，今天介绍下Applicaiton是怎么启动向Master注册的，Application启动可以认为就是执行main方法里的代码，通常都会先定义SparkContext对象，例如val sc = new SparkContext(conf),所以可以以SparkContext为切入口分析applicaiton的启动注册流程.SparkContext ...
2018-06-09 18:14:50
644
原创 spark Launch Executor
ClientEndpoint发送RegisterApplication请求，Master返回RegisteredApplication注册成功消息，到这里application注册就完成了；接下来就是启动Executors,schedule()是启动Exexutors的入口private def schedule(): Unit = { if (state != RecoveryS...
2018-06-09 18:09:10
494
FastDFS安装文档以及测试类，redis单点故障解决方案之keepalived
2013-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人