北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量

Mac配置单机版:Hadoop和Spark环境

目录 1、需求 2、软件 3、参考文档和配置下载 4、配置过程 1)环境变量 2)Zookeeper配置文件解说 3)hadoop配置文件解说 4)Hive配置文件解说 5...

2018-04-27 12:58:10

阅读数:442

评论数:0

spring boot+mybatis整合

目录 一、整体结构图 二、Spring boot搭建 三、整合Mybatis(自动生成工具) 1、集成druid,使用连接池 2、自动生成工具依赖和插件 3、最终的pom.xml文件: 4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。 5、自动...

2018-11-12 17:35:45

阅读数:15

评论数:0

CDH5.13离线安装Spark2.1详细步骤

目录 一、简介: 二、安装准备 三、开始安装 一、简介: 在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自...

2018-11-07 10:05:43

阅读数:30

评论数:0

SSH无密钥配置和配置公钥后仍需要输入密码的解决方案

目录 1、ssh免密登陆的配置方法两种 2、仍需要密码登陆问题解决 1、ssh免密登陆的配置方法两种 1、ssh-keygen -t rsa在客户端生成密钥对 把公钥拷贝给要登录的目标主机, 目标主机上将这个公钥加入到授权列表 cat id_rsa.pub &amp...

2018-11-02 15:25:49

阅读数:23

评论数:0

CDH5.14 Impala的静态资源和动态资源设置

目录 1、静态资源和动态资源说明 2、静态资源设置 3、使用准入控制 4、设置每个查询的内存限制 5、创建动态资源池 6、关于放置规则 7、设置资源池上的权限控制 1、静态资源和动态资源说明 官网 https://www.cloudera.com/documentation...

2018-10-30 21:24:57

阅读数:98

评论数:0

(新东方)背单词,记住这200个词根词缀就够了(我自用)

帮助记忆前缀: a.b.c.d.e–>2.3.2.3.5 kfn各一个–>外键 i有6个 -->cpu i6处理器 m有5个, MD5 op有...

2018-10-26 09:34:17

阅读数:162

评论数:0

CDH中Notebook的一些问题解决

目录: 1、重要事项说明 2、Notebook的配置 3、livy的配置 4、livy的版本问题 5、spark的版本问题 6、页面展示 7、参考文章 1、重要事项说明 1、cdh5.14默认的python版本为2.6.6, 一定要升级到2.7,方法如下:https://...

2018-10-25 17:24:01

阅读数:58

评论数:0

记忆宫殿--清华一日游

52张牌的记忆方法 方块 梅花 红桃 黑桃 方块1——一个相框 梅花1——枫叶 红桃1——一个桃子 黑桃1——一一本厚黑学书 方块2——兔子耳朵 梅花2——奶茶妹妹 红桃2——红孩儿 黑桃2——黑天鹅 方块3——方伞 梅花...

2018-10-24 14:24:25

阅读数:25

评论数:0

phoenix视图-phoneix查询原生态Hbase的表

标准的SQL视图语法现在在Phoenix上也支持了。这使得能在同一张底层HBase物理表上创建多个虚拟表。 hbase(main)> create 't1' , {NAME => 'f1', VERSIONS => 2} hba...

2018-10-17 09:28:55

阅读数:31

评论数:0

MYSQL主键存在则更新,不存在则插入

需求:MYSQL主键存在则更新,不存在则插入 package com.utils; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; /*** * 需求...

2018-10-15 11:24:41

阅读数:51

评论数:0

Flink-分布式运行环境

转载请标明出处: https://blog.csdn.net/silentwolfyh 目录: 1、任务和操作链 2、job管理, Task管理,客户端 3、任务槽和资源 4、后端状态 5、保存点 1、任务和操作链     &...

2018-09-27 16:03:16

阅读数:62

评论数:0

Flink-数据流编程模型

目录: 1、抽象等级 2、程序和数据流 3、并行数据流 4、窗口 5、时间 6、状态操作 7、容错检查点 8、批处理流 1、抽象等级   &...

2018-09-27 12:45:16

阅读数:65

评论数:0

将python 2.6.6 升级到 2.7.10以及安装setuptools和pip

查看python的版本 #python -V Python 2.6.6 1.下载Python-2.7.10 https://www.python.org/ftp/python/ wget https://www.python.org/ftp/python/2.7.10/Python-2....

2018-09-25 15:13:21

阅读数:64

评论数:0

在CDH5.14.0和Apache--Hbase1.2 中安装Phoenix的三种方式

目录: 第一种CDH离线安装(下载解压安装) 第二种CDH在线安装(下载parcer在线安装) 第三种Apache-Hbase离线安装(下载解压安装) 第一种离线安装(下载解压安装) 下载路径: http://archive.apache.org/dist/phoenix/apac...

2018-09-20 10:59:23

阅读数:144

评论数:0

canal在配置中指定binlog文件以及position定位读取

问题: 这段时间发现自己电脑canal一直读取不了近期 create insert update 数据.后来在程序中查看读取到binlog是很早到一个.所以调整了canal的读取位置. 解决步鄹: 1.查看mysql binlog 日志: show binary logs ; 2...

2018-09-13 10:39:37

阅读数:160

评论数:0

spark应用程序引用第三方的jar包(转载备用)

第一种方式 操作:将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景:第三方jar文件比较小,应用的地方比较少 第二种方式 操作:使用spark-submit提交命令的参数: –jars 要求: 1、使用spark-submit命令的机器上存在对应的jar文...

2018-09-12 14:26:39

阅读数:168

评论数:0

Maven依赖中有包,但没有找到程序想要的类

目录 1、问题 2、分析 3、解决 ———————————————————————————– 1、问题 问题: 在com.lmax.disruptor 3.3.0 包中找不到com.lmax.disruptor.dsl.Disruptor类. Caused by: j...

2018-09-07 10:21:05

阅读数:170

评论数:0

maven 打包可运行jar包(转)

目录 1、前提 2、方法一:使用maven-jar-plugin和maven-dependency-plugin插件打包 3、方法二:使用maven-assembly-plugin插件打包 4、方法三:使用maven-shade-plugin插件打包 ————————————...

2018-08-08 13:53:56

阅读数:98

评论数:0

Hive表有几个T数据包含了20万个Partition,Hive表删除过程

目录 1、需求 2、问题 3、过程 ————————————————————————————- 1、需求 Hive表有几个T数据包含了20万个Partition,需要将hive表删除 2、问题 drop table if exists table_name; 出现的...

2018-07-26 17:27:47

阅读数:303

评论数:0

Hive表有几个T数据包含了20万个Partition,数据分析过程

目录 1、需求 2、问题 3、解决的方案 3.1、第一种(时间减少30%) 3.2、第二种(时间减少30%–40%,并且可以处理大数据表,不会出现内存溢出) ———————————————————————————— 1、需求: Hive表有几个T数据包含了20万个P...

2018-07-26 13:56:25

阅读数:384

评论数:0

提示
确定要删除当前文章?
取消 删除