北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量

maven 打包可运行jar包(转)

目录 1、前提 2、方法一:使用maven-jar-plugin和maven-dependency-plugin插件打包 3、方法二:使用maven-assembly-plugin插件打包 4、方法三:使用maven-shade-plugin插件打包 ————————————...

2018-08-08 13:53:56

阅读数:38

评论数:0

Hive表有几个T数据包含了20万个Partition,Hive表删除过程

目录 1、需求 2、问题 3、过程 ————————————————————————————- 1、需求 Hive表有几个T数据包含了20万个Partition,需要将hive表删除 2、问题 drop table if exists table_name; 出现的...

2018-07-26 17:27:47

阅读数:239

评论数:0

Hive表有几个T数据包含了20万个Partition,数据分析过程

目录 1、需求 2、问题 3、解决的方案 3.1、第一种(时间减少30%) 3.2、第二种(时间减少30%–40%,并且可以处理大数据表,不会出现内存溢出) ———————————————————————————— 1、需求: Hive表有几个T数据包含了20万个P...

2018-07-26 13:56:25

阅读数:311

评论数:0

HiveService2启动源码查看

目录 1、问题 2、解决(这里先放着,只作为记录) 3、通过源码和日志排查过程 ———————————————————————————- 1、问题: 近期公司的HiveService2启动有点慢,需要10分钟. 2、解决(这里先放着,只作为记录): 初步的解决...

2018-07-23 17:31:52

阅读数:200

评论数:0

Sbt 排除依赖冲突详细解析

1.Sbt 依赖树 参考: dependencyGraph sbt plugin https://github.com/jrudolph/sbt-dependency-graph 安装插件 建立文件:./.sbt/1.0/plugins/plugins.sbt 添加内容:addSbtP...

2018-06-26 20:30:11

阅读数:239

评论数:0

通过Scala Process执行Shell脚本且收集返回的结果

需求:通过Scala Process执行Shell脚本且收集返回的结果 package tools import java.util.concurrent.LinkedBlockingQueue import scala.sys.process.{Process, ProcessBuilde...

2018-06-11 16:23:31

阅读数:153

评论数:0

Git在windows下Push时输入户名和密码的解决方法

目录 1、需求 2、解决办法 2.1 第一种方法 2.1 第二种方法 —————————————————————————————————————- 1、需求 在大家使用github的过程中,一定会碰到这样一种情况,就是每次要push 和pull时总是要输入github的账号和...

2018-05-05 17:20:29

阅读数:105

评论数:0

Mac配置单机版:Hadoop和Spark环境

目录 1、需求 2、软件 3、参考文档和配置下载 4、配置过程 1)环境变量 2)Zookeeper配置文件解说 3)hadoop配置文件解说 4)Hive配置文件解说 5)Hbase配置文件解说 6)Spark和Scala安装 5...

2018-04-27 12:58:10

阅读数:222

评论数:0

IK-Analyze基于Lucene7.2.1

1、IK分词器源码结构 2、IK分词器如何编译和打包 3、IK-Analyze基于Lucene7.2.1的包下载 ———————————————————————— 1、IK分词器源码结构 GIthub地址:https://github.com/silentwolfyh/IK-An...

2018-04-18 22:13:13

阅读数:216

评论数:0

GitBook建立本地Book及导入别人Book

GitBook建立本地Book 1、不用登陆,点击Do that later 2、点击New Book–>输入图书名称–>Confirm 3、图书的路径 4、图书展示 5、发布 6、导入别人Book错误及介绍 ...

2018-04-18 21:56:41

阅读数:480

评论数:0

SBT --jvm-debug 9999 MacBookPro 解决方案

需求:在Play、Sbt环境下,通过Idea 单步调试 问题如下: huideMacBook-Pro:graph huiyu$ sbt -jvm-debug 9999 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option ...

2018-02-08 10:27:41

阅读数:795

评论数:0

SBT-Found version conflict(s) in library dependencies; some are suspected to be binary incompatible:

[warn] Found version conflict(s) in library dependencies; some are suspected to be binary incompatible: [warn] * com.google.guava:guava:22.0 is sele...

2018-02-01 09:28:34

阅读数:473

评论数:0

SBT笔记

1.Sbt 依赖树 参考: dependencyGraph sbt plugin https://github.com/jrudolph/sbt-dependency-graph 安装插件 建立文件:./.sbt/1.0/plugins/plugins.sbt 添加内容:addSbtP...

2018-01-29 23:20:49

阅读数:148

评论数:0

Git常用方法

目录 1、文件忽略 2、git设置用户名和邮箱 3、git回滚到任意版本(回滚前最好做备份) 4、本地项目推送到远程仓库 5、删除远程仓库 —————————————————————————————- 1、文件忽略 第一步:去掉索引 git rm -r - ...

2018-01-24 21:05:40

阅读数:145

评论数:1

Git错误集合

1、Your branch and ‘origin/yh_branch’ have diverged 2、npm run -s precommit (node v8.9.3) 3、You are currently rebasing branch ‘yh_branch’ on ‘d6e...

2018-01-15 19:54:37

阅读数:2926

评论数:0

中国最牛的5位【IT界大佬】30岁在干嘛?

马云:1994年,马云正经营海博翻译社。为生存下去,马云背着大麻袋到义乌、广州进货,目的就是赚钱给员工发工资。后来,马云开始寻找机会决定创业,慢慢的,就有了后来的中国黄页、淘宝网、支付宝、天猫,以及阿里帝国。       雷军:30岁当上总经理天天泡bbs 雷军前半生比前三位都顺,武汉大学超级学霸...

2017-10-11 21:56:15

阅读数:2901

评论数:6

面试题--scala全排序过滤字段

目录1、需求2、代码3、结果展示————————————————————————————-1、需求求 1 to 5 的全排序, 2不能在第一位, 3,4不能在一起2、代码import util.control.Breaks._ /** * Created by Administrator on...

2017-09-22 17:21:05

阅读数:860

评论数:0

spark自定义分区

目录一、需求二、代码展示三、数据展示四、结果展示五、三种分区方式介绍       1、默认分区方式(实际上是HashPartitioner)       2、HashPartitioner分区       3、RangePartitioner分区——————————————————————————...

2017-09-19 09:46:03

阅读数:798

评论数:3

Elasticsearch集群Linux搭建

目录1、前期准备2、集群搭建       1)从官网下载ES 安装包       2)新增ES用户       3)上传解压ES       4)配置ES       5)启动前提前期解决的问题       6)启动、关闭ES       7)集群验证       8)安装插件(kibana-5....

2017-09-04 18:06:02

阅读数:643

评论数:0

Elasticsearch单机Windows搭建

目录1、相关软件2、安装JDK3、下载和解压缩Elasticsearch4、启动Elasticsearch5、检查ES6、下载和解压缩Kibana7、启动Kibana8、进入Dev Tools界面——————————————————————————————1、相关软件 elasticsearc...

2017-09-04 17:47:26

阅读数:635

评论数:0

ElasticSearch聚合

目录:一、基本概念二、数据生成       maven       Java代码三、查询方法       3.1 求平均值,最大值,最小值,和,计数,统计       3.2 百分比聚合       3.3 百分比分级聚合—————————————————————————————一、基本概念二、数...

2017-09-04 15:23:09

阅读数:619

评论数:0

微信群中报数从【1】到【30】

目录:1、游戏名称及规则2、作者的开心话3、游戏案例4、游戏总结——————————————————————————————————————1、游戏名称及规则游戏名称:微信群中报数从【1】到【30】 游戏规则: 1、单人单次按照次序报数,从【1】到【30】; 2、报数期间数字只能一个一个递增...

2017-08-25 12:29:56

阅读数:1537

评论数:0

数据结构8种排序时间和空间复杂度对比

算法复杂度分析 http://blog.csdn.net/silentwolfyh/article/details/73162862插入排序–Java版 http://blog.csdn.net/silentwolfyh/article/details/73187088希尔排序–Java版...

2017-08-17 15:50:48

阅读数:1205

评论数:0

快速排序 --Java版本

目录1、快速排序解释2、快速排序大白话(认真看)3、代码展示4、结果展示——————————————————————————————-1、快速排序解释       快速排序(Quicksort)是对冒泡排序的一种改进。        快速排序由C. A. R. Hoare在1962年提出。它的基...

2017-08-15 14:22:06

阅读数:811

评论数:0

归并排序 --Java版本

目录1、需求2、图解3、代码展示及步骤解说4、结果展示——————————————————————————————-1、需求       归并排序 –Java版本        归并排序(MERGE-SORT)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and Co...

2017-08-14 16:48:56

阅读数:721

评论数:0

希尔排序--Java版

目录1、介绍2、步骤解说3、图解4、代码展示5、结果展示———————————————————————————1、介绍       希尔排序(Shell Sort)是插入排序的一种。也称缩小增量排序,是直接插入排序算法的一种更高效的改进版本。希尔排序是非稳定排序算法。该方法因DL.Shell于19...

2017-08-14 15:24:28

阅读数:678

评论数:0

大顶堆积排序--Java版

目录1、介绍2、步骤解说3、图解4、代码展示5、结果展示————————————————————————————–1、介绍提前参考: Java实现大顶堆和小顶堆 http://blog.csdn.net/silentwolfyh/article/details/77099258介绍:先将数组按...

2017-08-11 17:14:22

阅读数:679

评论数:2

大顶堆和小顶堆--Java版

目录:1、前期参考2、大顶堆原理3、小顶堆原理4、大顶堆和小顶堆对比图5、大顶堆代码6、执行结果————————————————————————————-1、前期参考使用一维数组存储二叉树 http://blog.csdn.net/silentwolfyh/article/details/76...

2017-08-11 16:01:04

阅读数:2130

评论数:0

第一次登上CSDN的博客首页

写了几年的技术博客了,第一次上CSDN的博客首页第一次上榜时间为【2017年8月9号】,结束时间为【2017年8月25号】,地址为:http://blog.csdn.net 第二次上榜时间为【2017年9月28号】,结束时间为【2017年10月11号】,地址为:http://blog.csdn....

2017-08-09 15:09:11

阅读数:1302

评论数:14

使用一维数组存储二叉树--Java版

package com.datastructure;/*** * 需求:使用一维数组存储二叉树 * 步骤: * 1、查看原始数据的个数(8个),从而制定二叉树层级(4层),得到满二叉树节点个数(15个) * 2、二叉树节点(15个)为一维数组,全设置为0 * 3、循环遍历原始数据,第一个...

2017-08-09 08:51:52

阅读数:1448

评论数:0

我的新书《Hadoop+Spark生态系统操作与实战指南》已经上架

致 青 春        赶在儿子1岁生日之际,赶在我30岁告别之际,我撰写《Hadoop+Spark生态系统操作与实战指南》一书,作为我儿子的生日礼物。我借【时光之手】合上我30年青春的最后一页,我借【此书】记录下我的青春,我借【清华大学出版社】将我青春永远留在【清华大学】。      ...

2017-08-07 20:22:59

阅读数:4151

评论数:26

python批量kill某一个进程

python批量kill某一个进程#!/usr/bin/python # -*- coding: UTF-8 -*- import os import syspyName = sys.argv[0] pyPath = sys.argv[1] print "脚本名:", pyN...

2017-08-07 16:42:51

阅读数:873

评论数:0

win7上python2.7连接mysql数据库02

win7上python2.7连接mysql数据库,配置写到配置文件中,本例子找那个包括: 1、单条插入 2、批量插入 3、事务处理myapp.conf# database source [downdb] host = XXX.XXX.XXX.XXX port = 3306 user = fu...

2017-08-07 10:06:18

阅读数:688

评论数:0

使用python监控HDFS文件的增量【优化中】

目录1、需求和步骤2、项目结构3、项目代码       3.1建表语句 hdfs_Ctreate_table       3.2删除文件记录 hdfs_delete_file_record.py       3.3文件路径的小时监控 hdfs_path_Monitor.py       3.4文...

2017-08-03 17:55:02

阅读数:1690

评论数:0

Missing artifact jdk.tools:jdk.tools:jar:1.6

问题:Missing artifact jdk.tools:jdk.tools:jar:1.6<!-- 解决Maven工程中报 Missing artifact jdk.tools:jdk.tools: --> <dependency> <gr...

2017-07-29 16:09:40

阅读数:674

评论数:0

pycharm远程登录服务器执行

建立ssh连接,输入账户密码设置保存上传设置文件上传保存路径打开ssh与服务器建立连接结果展示

2017-07-28 10:11:35

阅读数:942

评论数:0

HDFS常用命令

选项名称 使用格式 含义 -ls -ls <路径> 查看指定路径的当前目录结构 -lsr -lsr <路径> 递归查看指定路径的目录结构 -du -du...

2017-07-26 12:43:16

阅读数:791

评论数:0

北京,有2000万人假装在生活

第一段北京没有人情味        经常被外地朋友批评:北京人钱多装逼不热情。都到了同一个城市,干嘛不一起聚聚?几十年的交情,还不把我送到机场?事实上,北京人很难像外地人一样热情——来去接送,全程陪同,北京人真的很难做得到。       北京人很忙,忙到晚上11点,还在三环路上堵着;北京社交时间...

2017-07-24 12:29:31

阅读数:1191

评论数:0

博客图片保存区

【友情推荐】更多大数据学习资源详细请咨询章鱼大数据,回复暗号:bd余辉微信交流群如果对我的博客感兴趣,扫描二维码关注我的【微信】和【微博】         余辉微信公众号二维码余辉微博二维码余辉微信二维码章鱼大数据章鱼大数据

2017-07-17 22:14:16

阅读数:462

评论数:0

Python开发环境搭建和配置

目录:一、 前期准备二、 安装Python三、 安装PyCharm四、 PyCharm创建项目五、 PyCharm配置———————————————————————————————一、 前期准备百度云:http://pan.baidu.com/s/1kVsVcWZ二、 ...

2017-07-17 14:38:46

阅读数:690

评论数:0

Python工具类

本篇将介绍python中sys, getopt模块处理命令行参数如果想对python脚本传参数,python中对应的argc, argv(c语言的命令行参数)是什么呢? 需要模块:sys 参数个数:len(sys.argv) 脚本名: sys.argv[0] 参数1: sys...

2017-07-13 14:38:29

阅读数:456

评论数:0

python读文件read()、readline()、readlines()三个方法的区别

#!/usr/bin/python # -*- coding: UTF-8 -*- ''' Created on 2017年7月13日 @author: yuhui '''import time; # 引入time模块""" 1、读取文件的三个方法:read()、r...

2017-07-13 11:26:03

阅读数:585

评论数:0

Python模块之ConfigParser - 读写配置文件

目录:1、配置文件的格式2、Unicode 编码的配置3、allow_no_value4、DEFAULT section5、插值 Interpolation——————————————————————————————-1、配置文件的格式a) 配置文件中包含一个或多个 section, 每个 sec...

2017-07-12 11:27:22

阅读数:345

评论数:0

Java向文本指定行插入值

需求:使用Java在不覆写文本的情况下,指定将输入内容插入到指定行。思路:1、获取到写入内容的字节数,比如 Size = b.length() 2、使用Java中的RandomAccessFile类,获取写入的文本地址 3、通过randomAccessFile.seek()找到内容书写的定位 ...

2017-07-11 09:28:39

阅读数:588

评论数:0

JAVA Set 交集,差集,并集

/** * Created by yuhui on 2017/7/11 0011. */ import java.util.HashSet; import java.util.Set;public class TestSet { public static void main(Strin...

2017-07-11 09:04:49

阅读数:9798

评论数:0

python 移动文件或文件夹操作

目录:1、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法2、文件操作方法大全3、目录操作方法大全————————————————————————————–1、python中对文件、文件夹操作时经常用到的os模块和shutil模块常用方法。1.得到当前工作目录,即当前...

2017-07-10 17:02:09

阅读数:4140

评论数:0

2017年18岁的北京文科状元父母都是外交官,关于高考,他说出了我们竭力回避的戳心真相

条条大路通罗马,可是那个孩子,人家已经在罗马了。那些真正跑赢同龄人的年轻人,是拥有见识+知识+格局的结果。 第一段:       这两天看到北京市文科状元接受采访时说的话,觉得一个孩子,简简单单就说出了大人不愿意正视的问题。       “农村地区的孩子越来越难考上好学校,你像我这种,属于中产阶...

2017-07-03 09:28:54

阅读数:1804

评论数:0

ElasticSearch使用

目录1. ElasticSearch介绍2. RESTFul3. ES安装以及相关插件4. 倒排索引5. ES CRUD API6. mget 批量获取7. bluk 批量操作8. 版本控制version9. Mapping映射10. 基本查询11. filter查询12. ...

2017-06-30 16:32:18

阅读数:723

评论数:0

KafkaUtils.createStream接收数据流程

KafkaUtils.createStream接收数据流程

2017-06-30 08:20:48

阅读数:2078

评论数:0

英文歌曲:Cherish the Lovey(珍惜爱)

Cherish the Love - The KatinasLet’s take a walk together near the ocean shore Hand in hand you and i Let’s cherish every moment we have been given ...

2017-06-26 12:26:58

阅读数:676

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭