- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Spark+zookeeper
基于zookeeper 的Spark HA配置说明首先按照zookeeper，见上一篇配置spark.env.sh将SPARK_MASTER_IP 一行删除增加export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=h101:2181,h102:2181,h1...
2018-05-18 11:36:40
1507
原创 Zookeeper集群搭建
集群信息master h101slave1-10 h102-h111首先在master节点下操作cd /usr/local下载稳定版本的zookeepersudo wget http://mirrors.hust.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz解压sudo tar -zxvf zookeeper-3.4.12.tar.g...
2018-05-18 10:37:39
277
原创 通过nginx反向代理查看内网Spark UI
1.下载nginx_substitutions_filter并解压git clone git://github.com/yaoweibin/ngx_http_substitutions_filter_module.git2.安装nginx wget http://nginx.org/download/nginx-1.4.2.tar.gz 3.编译安装 sudo ./configure --pre...
2018-04-13 15:16:59
1055
原创 crontab定时提交Spark任务
Centos 6.5系统下crontab默认自动开启1、编写一个crontab脚本，命名规则*.cron2、用vi 打开这个脚本添加定时任务，格式如下# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day of month...
2018-04-13 09:32:34
1518
1
原创 Bowtie2生成linux的动态链接库.so文件
首先下载bowtie2的源码https://sourceforge.net/projects/bowtie-bio/files/bowtie2选择source文件。将下载好的源码解压执行(centos6.5需要自行升级g++的版本)g++ -O3 -m64 -msse2 -funroll-loops -g3 -DCOMPILER_OPTIONS="\"-O3 -m64 -msse2 -funr...
2018-04-03 20:33:31
424
8
原创 操作序列
时间限制：2秒空间限制：32768K小易有一个长度为n的整数序列,a_1,...,a_n。然后考虑在一个空序列b上进行n次以下操作:1、将a_i放入b序列的末尾2、逆置b序列小易需要你计算输出操作n次之后的b序列。输入描述:输入包括两行,第一行包括一个整数n(2 ≤ n ≤ 2*10^5),即序列的长度。第二行包括n个整数a_i(1 ≤ a_i ≤ 10^9),即
2017-10-11 17:09:25
1143
原创 交错01串
时间限制：1秒空间限制：32768K如果一个01串任意两个相邻位置的字符都是不一样的,我们就叫这个01串为交错01串。例如: "1","10101","0101010"都是交错01串。小易现在有一个01串s,小易想找出一个最长的连续子串,并且这个子串是一个交错01串。小易需要你帮帮忙求出最长的这样的子串的长度是多少。输入描述:输入包括字符串s,s的长度length(1 ≤
2017-10-11 16:25:39
235
原创 等差数列
时间限制：1秒空间限制：32768K如果一个数列S满足对于所有的合法的i,都有S[i + 1] = S[i] + d, 这里的d也可以是负数和零,我们就称数列S为等差数列。小易现在有一个长度为n的数列x,小易想把x变为一个等差数列。小易允许在数列上做交换任意两个位置的数值的操作,并且交换操作允许交换多次。但是有些数列通过交换还是不能变成等差数列,小易需要判别一个数列是否能通过交换操
2017-10-11 16:08:05
443
原创 彩色的砖块
时间限制：1秒空间限制：32768K小易有一些彩色的砖块。每种颜色由一个大写字母表示。各个颜色砖块看起来都完全一样。现在有一个给定的字符串s,s中每个字符代表小易的某个砖块的颜色。小易想把他所有的砖块排成一行。如果最多存在一对不同颜色的相邻砖块,那么这行砖块就很漂亮的。请你帮助小易计算有多少种方式将他所有砖块排成漂亮的一行。(如果两种方式所对应的砖块颜色序列是相同的,那么认为这两种方式
2017-10-11 11:33:36
312
原创 重排数列
import java.math.BigDecimal;import java.math.RoundingMode;import java.util.Scanner;public class Main { /** * @param 卞恩泽 2017/9/18 牛客网 魔法币 */ public static void main(Str
2017-09-18 21:42:01
597
原创 字符串碎片
时间限制：1秒空间限制：32768K一个由小写字母组成的字符串可以看成一些同一字母的最大碎片组成的。例如,"aaabbaaac"是由下面碎片组成的:'aaa','bb','c'。牛牛现在给定一个字符串,请你帮助计算这个字符串的所有碎片的平均长度是多少。输入描述:输入包括一个字符串s,字符串s的长度length(1 ≤ length ≤ 50),s只含小写字母('a'-'z'
2017-09-18 20:08:09
1008
原创 相反数
[编程题] 相反数时间限制：1秒空间限制：32768K为了得到一个数的"相反数",我们将这个数的数字顺序颠倒,然后再加上原先的数得到"相反数"。例如,为了得到1325的"相反数",首先我们将该数的数字顺序颠倒,我们得到5231,之后再加上原先的数,我们得到5231+1325=6556.如果颠倒之后的数字有前缀零,前缀零将会被忽略。例如n = 100, 颠倒之后是1.输入
2017-09-18 19:27:56
2099
原创 魔法币问题
题目原处：https://www.nowcoder.com/test/question/32c71b52db52424c89a565e4134bfe4e?pid=6910869&tid=11204263[编程题] 魔法币时间限制：1秒空间限制：32768K小易准备去魔法王国采购魔法神器,购买魔法神器需要使用魔法币,但是小易现在一枚魔法币都没有,但是小易有两台魔法机器可以
2017-09-18 18:34:21
810
原创 hivemall之时间序列数据异常检测
一、安装及其官方使用示例安装hivemall$ git clone https://github.com/apache/incubator-hivemall.git$ cd incubator-hivemall$ bin/build.sh启动hive和导入相关 jaradd jar /home/hadoop/incubator-hivemall/target/hivemall-core-0.4.
2017-08-15 10:57:09
2068
1
原创 spark中ml机器学习库的朴素贝叶斯模型实现中文文本信息的文类预测
数据预处理原始数据如图所示，我们要提取用户的输入文本信息，即“日本件如何收费” 首先过滤掉其他不含用户输入的文本行 然后以特定字符“含中文”为切割 提取文本信息中文分词采用ansj中文分词工具，对预处理后的数据进行分词建立训练语料自定义五个类别及其标签：0 运费、1 寄件、2 人工、3 改单、4 催单、5 其他业务类。 从原数据中挑选一部分作为训练语料和测试语料 建立模型测试并保存impo
2017-07-31 16:31:44
1307
原创 Spark下四种中文分词工具使用
Spark下四种中文分词工具使用hanLPansjjiebafudannlp获取四种分词工具 在maven 项目工程下的 pom.xml文件中添加 点击import即可完成对前三种的获取 <dependency> <groupId>org.ansj</groupId> <artifactId>ansj_seg</artifactId>
2017-07-28 17:04:22
16382
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人