- 博客(12)
- 收藏
- 关注
RSS订阅原创 scala操作MySQL插件ScalikeJDBC的使用
Scala操作MySQL插件ScalikeJDBC的使用1.什么是ScalikeJDBC ScalikeJDBC是一款给Scala开发者使用的简洁DB访问类库，它是基于SQL的，使用者只需要关注SQL逻辑的编写，所有的数据库操作都交给ScalikeJDBC。这个类库内置包含了JDBC API，并且给用户提供了简单易用并且非常灵活的API。并且，QueryDSL(通用查询查询框架)使你的代码...
2019-04-21 22:58:31
392
原创 hive源码编译支持UDF函数
hive源码编译支持UDF函数1.源码下载 下载的hive源码最好跟自己hadoop环境的版本一致，我使用的hadoop-2.6.0-cdh5.7.0，所以以下过程都是基于这个版本操作的。源码下载地址：http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz2.编译支持UDF使用的是maven进行编译的，ma...
2019-04-21 19:10:09
202
原创 hive自定义UDF函数
hive自定义UDF函数1.什么是udf UDF（User-Defined Functions）即是用户自定义的hive函数。hive自带的函数并不能完全满足业务的需求，这时就需要我们自定义函数了。官网参考地址：LanguageManual UDF2.UDF分类1.UDF:one to one ，进来一个出去一个，row mapping。 是row级别操作，如：upper、subs...
2019-04-21 19:07:36
2894
原创 hue-3.9-cdh-5.7.0安装
hue-3.9-cdh-5.7.0安装 本次安装踩了一个大坑，由于之前先rpm方式安装了mysql，把centos7自带的mariadb删除了，用yum方式安装mysql-devel失败了，所以使用了rpm的方式安装hue。1.下载安装包下载地址：http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.7.0/RPMS/x86_64/...
2019-04-18 00:37:22
636
1
原创 hadoop编译支持LZO压缩格式
hadoop编译支持LZO压缩格式1.lzo安装1.1 lzo格式文件压缩解压需要用到服务器的lzop工具，hadoop 的native库（hadoop checknative是没有的lzo,zip相关信息）并不支持#检查是否有lzop命令[hadoop@hadoop001 software]$ which lzop/bin/lzop#若没有执行如下安装命令[root@hadoop0...
2019-04-17 12:00:17
847
2
原创 Hadoop高级之HDFS&YARN HA架构剖析
Hadoop高级之HDFS&YARN HA架构剖析1.为什么要用集群 学习过程中我们只需要单点就够了,学习需要用到集群的时候可以使用便宜的商业集群.在企业里边肯定是使用的集群.我们自己部署的伪分布式,每个角色都是一个进程.2.HDFS:NN(NameNode): master(老大)SNN(Secondary NameNode):checkpoint second...
2019-04-16 18:47:47
326
原创 Git项目提交新建仓库
Git项目提交新建仓库 作为程序员,跟git打交道必不可少,但是往往会遇到项目写好了,但是要传到git仓库上去.如何将本地的项目和远程的仓库进行连接管理就是必修课了. 其实说起来也很简单,就是 git remote add origin 远程地址名1.本地项目执行操作1.在本地项目目录下初始化 git 仓库git init2.将本地项目下工作区的所有文件添加到 git 版...
2019-04-16 09:11:11
119
原创 shell之发送邮件(附件及html格式)
shell之发送qq邮件并附带附件1.生成qq登录授权码 以QQ邮箱为例，发送邮件的时候需要打开smtp功能，在QQ邮箱的设置–>账户,下面可以找到。2.服务器配置2.1关闭sendmail的服务#这台机器没有安装所以不显示[root@hadoop001 scripts]# service sendmail statusRedirecting to /bin/systemc...
2019-04-16 01:45:34
2878
原创 shell之常用编程语法
shell之常用编程语法1.shell编程规范shell文件行业规范默认后缀为.shshell首行为#!/bin/bash,注意/bin/bash为当前脚本解释器，可以不写但不能写错了。#表示注释shell对大小写敏感，变量尽量全大写，小写会被鄙视2.变量2.1环境变量全局生效，通过set命令查看，用户环境变量，当前用户生效，系统环境变量，所有用户生效，通过export声...
2019-04-16 01:45:08
309
原创 Hadoop离线项目之数据清洗
Hadoop离线项目之数据清洗1.背景1.1 企业级大数据项目开发流程项目调研：技术？业务？ 以业务为导向的项目调研,根据不同的行业对项目进行调研,主要以 产品经理、非常熟悉业务的、项目经理等人员进行项目调研.需求分析：明确做什么 做成什么样子的（做东西不要局限于某个技术） 首先需求是由用户提出,是可见的,明确规定了需要什么,其次是隐式的需求,隐式的需求需要开发...
2019-04-15 17:34:10
939
原创 Hadoop-2.6.0-cdh5.7.0编译支持压缩
Hadoop-2.6.0-cdh5.7.0编译支持压缩Hadoop-2.6.0-cdh5.7.0本身是没有进行压缩支持的,但是我们在生产环境进行操作的时候,必须要进行压缩处理.1. 压缩的好处和坏处 好处减少存储磁盘空间降低IO(网络的IO和磁盘的IO)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度 坏处由于使用数据时，需要先将数据解...
2019-04-10 18:37:28
376
原创 HDFS&YARN HA部署
HDFS&YARN HA部署一：集群资源集群资源：3台4核4G的服务器(hadoop001,hadoop002,hadoop003)，均为阿里云服务器需要的安装包： 1.jdk压缩包(jdk-8u45-linux-x64.gz) 2.Hadoop压缩包(hadoop-2.6.0-cdh5.7.0.tar.gz) 3.Zookeeper压缩包(zookeep...
2019-04-10 18:34:06
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人