北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量

Mac配置单机版:Hadoop和Spark环境

目录 1、需求 2、软件 3、参考文档和配置下载 4、配置过程 1)环境变量 2)Zookeeper配置文件解说 3)hadoop配置文件解说 4)Hive配置文件解说 5...

2018-04-27 12:58:10

阅读数:382

评论数:0

phoenix视图-phoneix查询原生态Hbase的表

标准的SQL视图语法现在在Phoenix上也支持了。这使得能在同一张底层HBase物理表上创建多个虚拟表。 hbase(main)> create 't1' , {NAME => 'f1', VERSIONS => 2} hba...

2018-10-17 09:28:55

阅读数:9

评论数:0

MYSQL主键存在则更新,不存在则插入

需求:MYSQL主键存在则更新,不存在则插入 package com.utils; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; /*** * 需求...

2018-10-15 11:24:41

阅读数:28

评论数:0

将python 2.6.6 升级到 2.7.10以及安装setuptools和pip

查看python的版本 #python -V Python 2.6.6 1.下载Python-2.7.10 https://www.python.org/ftp/python/ wget https://www.python.org/ftp/python/2.7.10/Python-2....

2018-09-25 15:13:21

阅读数:43

评论数:0

在CDH5.14.0和Apache--Hbase1.2 中安装Phoenix的三种方式

目录: 第一种CDH离线安装(下载解压安装) 第二种CDH在线安装(下载parcer在线安装) 第三种Apache-Hbase离线安装(下载解压安装) 第一种离线安装(下载解压安装) 下载路径: http://archive.apache.org/dist/phoenix/apac...

2018-09-20 10:59:23

阅读数:92

评论数:0

canal在配置中指定binlog文件以及position定位读取

问题: 这段时间发现自己电脑canal一直读取不了近期 create insert update 数据.后来在程序中查看读取到binlog是很早到一个.所以调整了canal的读取位置. 解决步鄹: 1.查看mysql binlog 日志: show binary logs ; 2...

2018-09-13 10:39:37

阅读数:93

评论数:0

Maven依赖中有包,但没有找到程序想要的类

目录 1、问题 2、分析 3、解决 ———————————————————————————– 1、问题 问题: 在com.lmax.disruptor 3.3.0 包中找不到com.lmax.disruptor.dsl.Disruptor类. Caused by: j...

2018-09-07 10:21:05

阅读数:113

评论数:0

Hive表有几个T数据包含了20万个Partition,Hive表删除过程

目录 1、需求 2、问题 3、过程 ————————————————————————————- 1、需求 Hive表有几个T数据包含了20万个Partition,需要将hive表删除 2、问题 drop table if exists table_name; 出现的...

2018-07-26 17:27:47

阅读数:293

评论数:0

Hive表有几个T数据包含了20万个Partition,数据分析过程

目录 1、需求 2、问题 3、解决的方案 3.1、第一种(时间减少30%) 3.2、第二种(时间减少30%–40%,并且可以处理大数据表,不会出现内存溢出) ———————————————————————————— 1、需求: Hive表有几个T数据包含了20万个P...

2018-07-26 13:56:25

阅读数:365

评论数:0

HiveService2启动源码查看

目录 1、问题 2、解决(这里先放着,只作为记录) 3、通过源码和日志排查过程 ———————————————————————————- 1、问题: 近期公司的HiveService2启动有点慢,需要10分钟. 2、解决(这里先放着,只作为记录): 初步的解决...

2018-07-23 17:31:52

阅读数:238

评论数:0

Sbt 排除依赖冲突详细解析

1.Sbt 依赖树 参考: dependencyGraph sbt plugin https://github.com/jrudolph/sbt-dependency-graph 安装插件 建立文件:./.sbt/1.0/plugins/plugins.sbt 添加内容:addSbtP...

2018-06-26 20:30:11

阅读数:559

评论数:0

通过Scala Process执行Shell脚本且收集返回的结果

需求:通过Scala Process执行Shell脚本且收集返回的结果 package tools import java.util.concurrent.LinkedBlockingQueue import scala.sys.process.{Process, ProcessBuilde...

2018-06-11 16:23:31

阅读数:262

评论数:0

Git在windows下Push时输入户名和密码的解决方法

目录 1、需求 2、解决办法 2.1 第一种方法 2.1 第二种方法 —————————————————————————————————————- 1、需求 在大家使用github的过程中,一定会碰到这样一种情况,就是每次要push 和pull时总是要输入github的账号和...

2018-05-05 17:20:29

阅读数:131

评论数:0

IK-Analyze基于Lucene7.2.1

1、IK分词器源码结构 2、IK分词器如何编译和打包 3、IK-Analyze基于Lucene7.2.1的包下载 ———————————————————————— 1、IK分词器源码结构 GIthub地址:https://github.com/silentwolfyh/IK-An...

2018-04-18 22:13:13

阅读数:342

评论数:6

GitBook建立本地Book及导入别人Book

GitBook建立本地Book 1、不用登陆,点击Do that later 2、点击New Book–>输入图书名称–>Confirm 3、图书的路径 4、图书展示 5、发布 6、导入别人Book错误及介绍 ...

2018-04-18 21:56:41

阅读数:829

评论数:0

SBT --jvm-debug 9999 MacBookPro 解决方案

需求:在Play、Sbt环境下,通过Idea 单步调试 问题如下: huideMacBook-Pro:graph huiyu$ sbt -jvm-debug 9999 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option ...

2018-02-08 10:27:41

阅读数:852

评论数:0

SBT-Found version conflict(s) in library dependencies; some are suspected to be binary incompatible:

[warn] Found version conflict(s) in library dependencies; some are suspected to be binary incompatible: [warn] * com.google.guava:guava:22.0 is sele...

2018-02-01 09:28:34

阅读数:548

评论数:0

SBT笔记

1.Sbt 依赖树 参考: dependencyGraph sbt plugin https://github.com/jrudolph/sbt-dependency-graph 安装插件 建立文件:./.sbt/1.0/plugins/plugins.sbt 添加内容:addSbtP...

2018-01-29 23:20:49

阅读数:198

评论数:0

Git常用方法

目录 1、文件忽略 2、git设置用户名和邮箱 3、git回滚到任意版本(回滚前最好做备份) 4、本地项目推送到远程仓库 5、删除远程仓库 —————————————————————————————- 1、文件忽略 第一步:去掉索引 git rm -r - ...

2018-01-24 21:05:40

阅读数:166

评论数:1

Git错误集合

1、Your branch and ‘origin/yh_branch’ have diverged 2、npm run -s precommit (node v8.9.3) 3、You are currently rebasing branch ‘yh_branch’ on ‘d6e...

2018-01-15 19:54:37

阅读数:4280

评论数:0

提示
确定要删除当前文章?
取消 删除