北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

CSDN举办博客之星,请朋友帮我拉一票,点击有【大数据和机器学习】资料分享

CSDN举办博客之星,请朋友帮我拉一票,选择155号链接如下: https://bss.csdn.net/m/topic/blog_star2018

2019-01-03 15:01:54

阅读数:113

评论数:0

Mac配置单机版:Hadoop和Spark环境

目录 1、需求 2、软件 3、参考文档和配置下载 4、配置过程 1)环境变量 2)Zookeeper配置文件解说 3)hadoop配置文件解说 4)Hive配置文件解说 5...

2018-04-27 12:58:10

阅读数:703

评论数:0

sqoop--数据导入项目

目录 1、需求 2、架构和步鄹 3、细化步鄹讲解 1、需求 近期公司需要抽取mysql和SqlServer数据到hive中,且将数据处理过程成需要进行加密脱敏。 2、架构和步鄹 3、细化步鄹讲解 1、源数据到stage 功能描述:抽取关系型数据库中数据(全量或增量) 启...

2019-01-16 09:18:28

阅读数:60

评论数:0

tmpwatch安装和使用

目录 一、需求 二、安装和使用 三、常用命令 一、需求 CDH上面时长报警,日志路径也更改过。后来发现是/tmp文件很大,之后安装了tmpwatch软件定期清洗。 二、安装和使用 yum -y install tmpwatch 验证: cat /etc/cron.da...

2019-01-11 16:09:38

阅读数:56

评论数:0

Sqoop每天全量抽取SqlServer的数据存储到hive中

需求: 1、通过Sqoop每天全量抽取SqlServer的数据,按照存储到hive中,通过hive的partition进行分割 #!/usr/bin/env bash ############################################################...

2019-01-08 15:14:41

阅读数:76

评论数:0

通过python连接hive

需求:通过Anaconda3.6.7连接hive查询 步鄹: 下载pyhive conda install pyhive 查询脚本 from pyhive import hive conn = hive.Connection(host="IP&...

2018-12-27 17:59:09

阅读数:103

评论数:0

idea+springboot+freemarker热部署(亲测)

需求: 最近要做前端事情,使用了idea+springboot+freemarker,每次修改freemarker都要重新启动,网络找了一些方法,加上自己的一些方法完成了。本人用的是idea2018.1的版本 步鄹 第一步:在maven中加入devtools的依赖(这里我使用的是maven来...

2018-12-17 14:18:12

阅读数:148

评论数:0

Linux:参数传递

Shell 参数传递默认方式 #!/usr/bin/env bash :<<EOF Shell 参数传递 EOF #-------------------------------------------- # $# 传递到脚本的参数个数...

2018-12-11 14:49:13

阅读数:100

评论数:0

SpringBootMVC的增删改查以及Jsp页面展示

目录 1、demo结构 2、Springboot项目修改html后不需要重启 1、demo结构 Demo下载地址: demo整体结构 前台页面 新增页面 编辑页面 删除页面 2、Springboot项目修改html后不需要重启 1)spring-boo...

2018-11-22 23:39:40

阅读数:844

评论数:5

spring boot+mybatis整合

目录 一、整体结构图 二、Spring boot搭建 三、整合Mybatis(自动生成工具) 1、集成druid,使用连接池 2、自动生成工具依赖和插件 3、最终的pom.xml文件: 4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。 5、自动...

2018-11-12 17:35:45

阅读数:146

评论数:0

CDH5.13离线安装Spark2.1详细步骤

目录 一、简介: 二、安装准备 三、开始安装 一、简介: 在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版...

2018-11-07 10:05:43

阅读数:194

评论数:0

SSH无密钥配置和配置公钥后仍需要输入密码的解决方案

目录 1、ssh免密登陆的配置方法两种 2、仍需要密码登陆问题解决 1、ssh免密登陆的配置方法两种 1、ssh-keygen -t rsa在客户端生成密钥对 把公钥拷贝给要登录的目标主机, 目标主机上将这个公钥加入到授权列表 cat id_rsa.pub &amp...

2018-11-02 15:25:49

阅读数:81

评论数:0

CDH5.14 Impala的静态资源和动态资源设置

目录 1、静态资源和动态资源说明 2、静态资源设置 3、使用准入控制 4、设置每个查询的内存限制 5、创建动态资源池 6、关于放置规则 7、设置资源池上的权限控制 1、静态资源和动态资源说明 官网 https://www.cloudera.com/documentation...

2018-10-30 21:24:57

阅读数:271

评论数:0

(新东方)背单词,记住这200个词根词缀就够了(我自用)

帮助记忆前缀: a.b.c.d.e–>2.3.2.3.5 kfn各一个–>外键 i有6个 -->cpu i6处理器 m有5个, MD5 op有...

2018-10-26 09:34:17

阅读数:872

评论数:0

CDH中Notebook的一些问题解决

目录: 1、重要事项说明 2、Notebook的配置 3、livy的配置 4、livy的版本问题 5、spark的版本问题 6、页面展示 7、参考文章 1、重要事项说明 1、cdh5.14默认的python版本为2.6.6, 一定要升级到2.7,方法如下:https://...

2018-10-25 17:24:01

阅读数:188

评论数:0

记忆宫殿--清华一日游

52张牌的记忆方法 方块 梅花 红桃 黑桃 方块1——一个相框 梅花1——枫叶 红桃1——一个桃子 黑桃1——一一本厚黑学书 方块2——兔子耳朵 梅花2——奶茶妹妹 红桃2——红孩儿 黑桃2——黑天鹅 方块3——方伞 梅花...

2018-10-24 14:24:25

阅读数:75

评论数:0

phoenix视图-phoneix查询原生态Hbase的表

标准的SQL视图语法现在在Phoenix上也支持了。这使得能在同一张底层HBase物理表上创建多个虚拟表。 hbase(main)> create 't1' , {NAME => 'f1', VERSIONS => 2} hba...

2018-10-17 09:28:55

阅读数:108

评论数:0

MYSQL主键存在则更新,不存在则插入

需求:MYSQL主键存在则更新,不存在则插入 package com.utils; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; /*** * 需求...

2018-10-15 11:24:41

阅读数:107

评论数:0

Flink-分布式运行环境

转载请标明出处: https://blog.csdn.net/silentwolfyh 目录: 1、任务和操作链 2、job管理, Task管理,客户端 3、任务槽和资源 4、后端状态 5、保存点 1、任务和操作链     &...

2018-09-27 16:03:16

阅读数:217

评论数:0

Flink-数据流编程模型

目录: 1、抽象等级 2、程序和数据流 3、并行数据流 4、窗口 5、时间 6、状态操作 7、容错检查点 8、批处理流 1、抽象等级   &...

2018-09-27 12:45:16

阅读数:11729

评论数:0

提示
确定要删除当前文章?
取消 删除