自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 centos7安装mysql5.7

70 yum install mysql-server 71 mysql -uroot -p 75 grep 'temporary password' /var/log/mysqld.log 76 cat /var/log/mysqld.log 77 ps -ef | grep mysql 82 systemctl start mysqld...

2019-01-16 20:22:59 80

原创 sandbox HDP修改默认mysql密码

事件发生原因 vi /etc/my.cnf进入该目录修改在文件的最后添加一行“skip-grant-tables”     

2019-01-16 10:41:49 452

原创 基于docker安装sandbox实现3节点集群

前提条件目前,CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。使用 yum 安装(CentOS 7下)Docker 要求 CentOS...

2019-01-16 09:27:38 488

原创 基于Ambari安装HDP2.6.X

说明,本次采用三台服务器去安装Hadoop生态圈全家桶第一部分:安装第二部分:出现问题解决方案  第一部分首先需要三台ssh互通其次也需要自己对自己互通,避免出现安装过程中自己不能和自己连接,如果自己没有对自己ssh免密则下面第一个爆红 关闭SELinux 永久关闭防火墙 4查看自己机器名字并修改 hostname -f vi /etc/hostname  ...

2019-01-14 11:09:51 779 4

原创 2019.1.7mysql总结(优化代码)

跨库查询修改添加 Top10.社区人口数量柱状图USE test;SELECT AREANAME,COUNT(AREANAME)AS NUMB FROM data_aggregation.ZFW_WGH_V_LDPEO GROUP BY AREANAME LIMIT 10 创建相应社区表CREATE TABLE Community_population SELECT A...

2019-01-07 15:29:26 100

原创 mysql一些应用(坐标,检索,合并,分组,针对身份证)

获取某表内的坐标信息CREATE TABLE demo1 select * FROM (SELECT tzz_csyygl_v_his_citycases.CENTER_X,tzz_csyygl_v_his_citycases.CENTER_Y FROM tzz_csyygl_v_his_citycases ) Aselect * FROM demo1针对某表的数据进行检索分组...

2019-01-07 09:27:44 355 1

原创 spark structured streaming

        引用Spark commiter(gatorsmile)的话:“从Spark-2.X版本后,Spark streaming就进入维护模式,Spark streaming是低阶API,给码农用的,各种坑;Structured streaming是给人设计的API,简单易用。由于太忙,所以一直没有在官方文档上 更新说明信息”Unbounded没有边界的表每一条记录是个wor...

2018-11-06 15:11:48 144

原创 基于spark streaming的流数据处理和分析

Stream context 相当于spark context做实时处理就得用到 setup之后如果close你需要重新创建一个,重启是不行的  词频统计,stream contextssc.start()执行之后,上面代码段才会执行 一系列不停的RDD  Receives接收器  创建多个receivers 你需要 在c...

2018-11-06 14:56:15 1847

原创 Oozie的应用

 oozie的特点工作流管理工具可以轻量级,再提交端要求轻量级提交job会返回jobid 做一个例子 Step 1: Download the Oozie tarball Wget http://archive.apache.org/dist/oozie/4.2.0/oozie-4.2.0.tar.gz Step 2: Unpack the tarball ...

2018-11-06 14:40:02 235

原创 oozie简单应用

前言:       因为工作需要用到oozie,但是晚上的资料确实越看越迷茫,经过很大的努力,终于折腾清楚了,这里,做一个总结,帮助后来者更好地进行入门,当然,粗鄙之言,难免疏漏,欢迎交流指正 引入:       对于我们的工作,可能需要好几个hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理。      ...

2018-11-04 11:08:48 633

原创 授权mysql远程登陆

 grant all privileges on *.* to 'root'@'%' identified by 'hadoop' with grant option; flush privileges; 

2018-10-23 17:07:33 93

原创 flume的简单应用

 主要实现的是数据源到flume然后sink到对应topic里,随后项目会写到hbase 首先,数据源的地址要创建然后把文件放入 目前数据源这一块是完成了然后我们配置flume上面的东西events.sources = eventsSourceevents.channels = eventsChannelevents.sinks = eventsSink...

2018-10-18 18:14:03 112

原创 Grafana项目流程

先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies.jar 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。如果jar包在后面运行有问题的话,可以用chmod a+rwx df_connect_finance-0.1-jar-with-dep...

2018-10-16 14:45:03 811

原创 Kafka入门,producer和consumer与hive

{       "name":"hdfs-hive-sink-03",       "config":{              "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector",              "tasks.max":"1",              &q

2018-09-26 16:27:29 546

原创 Scala text

https://gitee.com/shuijin666/Scala-text/tree/master 

2018-08-21 18:41:28 494

原创 通过java在hbase上进行表单的增删改查

https://gitee.com/shuijin666/hbase_java_api-by-whj.git

2018-08-14 19:22:01 646

原创 hive和hbase区别

1. 两者分别是什么?   Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。    Apache HBase是一种Key/V...

2018-08-13 19:57:53 65

原创 hbase一些小总结(增删改查)

HBase概述1)构建在HDFS之上2) 分布式: 分而治之3)面向列:HBase特点1)大2)面向列:数据构成,列族(多个列)3)稀疏:null4)数据类型单一:string5)无模式: 每行数据所对应的列是可以不同    user: id  name password age info....  在创建表的时候就需要指定的6)数据多版本    CellHBase...

2018-08-13 16:47:54 1330

原创 2018.8.8hive一些常用命令总结

登陆(docker中):beeline -u "jdbc:hive2://localhost:10000/default建库:select current_databases();usedefaultcreate database myhive1use myhive1建表:(有LOCATION的是外部表)CREATE EXTERNAL TABLE IF NOT EXISTS e...

2018-08-08 14:03:24 448

原创 hive基础入门------建(外)内表导入数据

 连接hive beelinebeeline -u "jdbc:hive2://localhost:10000/default"查看数据库下的表 show tables;查询数据库show databases;新建一个数据库 create database myhive2再次查询show databases; 使用此数据库use ...

2018-08-08 14:01:47 894

原创 求全年最高温度(通过mapreduce)

首先发地址https://gitee.com/shuijin666/MRtemperature.git里面有个测试文件以及源码打开idea开始同步完成将jar导出然后xshell定位到文件目录执行如下操作hadoop jar temperaturem.jar mapreduce.temperature /demo/temperature.txt /demo/tem...

2018-08-06 12:25:21 870

原创 mapreduce小项目

wordcount可以说是学大数据中的helloworld,码云代码传送门打包编译虚拟机执行命令有设置参数,而不是固定输出,语法 hadoop jar qqq.jar mavend.Mapreduce /demo/ceshi /demo/new 第一个地址参数自己put上去个例子,第二个文件夹会自动创建先put测试文件,空格作为分割统计,出现次数完成之后去hadoop找自...

2018-08-04 15:33:50 716

原创 hdfs读写

 码云地址上面是源码执行的时候打开我们的虚拟机进入我们的jar包目录java -cp qqq.jar mavend.HDFSAPItest -r /biaoshi hdfs://sandbox-hdphellowords.com:8020 ~helloworlds.txt解释一下首先我们把本地文件put到了我们hadoop集群上记得命令使用绝对路径,如何put...

2018-08-04 14:55:54 132

原创 Anaconda在windows安装与环境配置

Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda ——一个包和环境管理器——衍生而来。你将使用 conda 创建环境,以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda,处理数据的过程将更加愉快。Jupyter notebook 是一种 Web 文档,能让你将文本、图像和代码全部组合...

2018-07-25 21:18:43 49800

转载 一些idea的基础设置

说明IntelliJ IDEA 有很多人性化的设置我们必须单独拿出来讲解,也因为这些人性化的设置让我们这些 IntelliJ IDEA 死忠粉更加死心塌地使用它和分享它。常用设置IntelliJ IDEA 的代码提示和补充功能有一个特性:区分大小写。如上图标注 1 所示,默认就是 First letter 区分大小写的。 区分大小写的情况是这样的:比如我们在 Java 代码文件中...

2018-07-25 16:33:09 508

转载 idea main方法以及sysout补全

配置main方法自动补全:1.首先,点击File-->Settings-->Editor-->Live Templates  2.接着,点击右上角“+”添加“Template Group”模板组,如Java3.在新增的模板组内添加模板,点击右上角“+”添加“Live Template” 4.填写模板内容,定义出发快捷键选择 Enter 5.定义...

2018-07-25 16:31:58 6112

转载 HDFS文件常用命令详解

【fs最常用命令】 1 2 3 4 5 6 7 bin/hadoop fs -ls hdfs_path    //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path    //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path   ...

2018-07-22 17:21:55 2639

原创 idea自动补全以及设置ec的代码风格快捷键

在IDEA中,默认的代码自动提示不够智能,现在配置成更加智能的方式。File-Settings-Editor-General-Code Completion中把最上面的大小写敏感度改成none,下面的钩全打。 ...

2018-07-18 16:14:07 447 1

原创 2018.7.18关于hadoop读写出现的错误总结

620 cd $HADOOP_HOME 621 cd sbin/ 622 start-dfs.sh 623 start-yarn.sh 624 jps 625 stop-dfs.sh 626 ssh-keygen -t rsa 627 ssh-copy-id whj 628 ssh whj 629 stop-dfs.sh 63...

2018-07-18 15:47:03 126

原创 利用maven配置hadoop

maven在国内使用最好更换源,方法在之前的文章有提到过,现在我们针对如何安装maven以及用maven加载hadoop的jar包进行笔记http://maven.apache.org/download.cgi  请选择最新的版本下载,这里咱们下载的是apache-maven-3.5.2- 当然第二个是我自己创建的文件夹解压完配置maven的环境变量export M2_H...

2018-07-17 13:56:09 1860

原创 maven使用国内源和使用代理

maven安装目录下conf文件夹settings.xml <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url&am

2018-07-16 16:32:20 1121

转载 idea 常用快捷键

 在使用IntelliJ Idea的时候,使用快捷键是必不可少的。掌握一些常用的快捷键能大大提高我们的开发效率。有些快捷键可以熟练的使用,但是还有另外一些快捷键虽然很好用,但是由于因为没有形成使用习惯或者没有理解快捷键的用法,甚至之前对一些快捷键根本没有概念,导致不会去使用。对于这些快捷键,如果能够用好,编辑代码的效率必能提高一个水平。所以在此梳理出来,加强自己的使用,形成习惯。(注:有些操作...

2018-07-16 16:30:28 108

原创 Ubuntu以及centos7 安装git2.18.0

首先Ubuntu的操作很简单,几乎可以说一条命令解决所有,apt-get install git如果想要安装之前版本的话# add-apt-repository ppa:git-core/ppa # apt update; apt install git就是这样,非常的简单方便,那么对于centos用户会表示完全被忽略的感觉大部分的发行版都有唯独centos会比较麻烦那么要怎么办呢?首先我们我们...

2018-07-14 17:26:00 894 1

原创 centos7 配置mysql 5.X

第一步:获取mysql YUM源进入mysql官网获取RPM包下载地址https://dev.mysql.com/downloads/repo/yum/  点击 下载 右击 复制链接地址 https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 得到这个  这个就是Yum仓库的rpm包 其实就是一个下载地址 第二步:...

2018-07-12 17:06:21 90

原创 GPG 错误

Ubuntu 14.0中升级mysql5.5到mysql5.7时候出现错误:7 http://repo.mysql.com/apt/ubuntu bionic InRelease                         下列签名无效: EXPKEYSIG 8C718D3B5072E1F5 MySQL Release Engineering <mysql-build@oss.oracl...

2018-07-12 14:12:41 1420

转载 更改Ubuntu源

修改源列表Step1: 找到源列表文件。 文件位置:/etc/apt/sources.list NOTE: 在修改之前记得先备份一份, cp /etc/apt/sources.list /etc/apt/sources.list.backupStep2: 修改源列表。 中国科技大学的源一般使用起来比较快,直接选择中科大的源。 删除source.list文件中的源,将下面的直接复制过去。# UST...

2018-07-12 12:26:59 1664

原创 mysql从删库到跑路 Ubuntu篇

sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremovesudo apt autoclean删除mysql的配置文件sudo rm /etc/mysql/ -R自动卸载mysql(包括server和client)sudo apt-get autoremove mysql* --purge ...

2018-07-12 11:49:41 972

转载 navicat for mysql for ubuntulinux

官方下载地址:http://www.navicat.com/cn/download/download.htmlnavicat_for_mysql_10.0.11_cn_linux.tar.gz使用方法:1.打开终端:应用程序->系统工具(或附件)->终端,切换到root账户:#su密码:(注意:输入root账户密码时,密码不会显示出来,也没有提示的特殊字符,直接输完密码按Enter键就...

2018-07-12 11:37:26 967

原创 MySQL5.7在Ubuntu上的安装、配置与使用

环境:Ubuntu 1804 64位待安装:MySQL5.7版本一、安装1、下载mysql-apt的配置包,并安装12wget https://dev.mysql.com/get/mysql-apt-config_0.8.1-1_all.debsudo dpkg -i mysql-apt-config_0.8.1-1_all.deb或者下载社区版本mysql5.7    https://www.c...

2018-07-12 10:39:17 14978 1

原创 centos 7虚拟机安装hadoop2.7.6分布式

总共你需要配置四个文件以及一个环境变量刷新即可,不用管那么多乱七八糟的第一个vim这个位置第二个vim第三个vim第四个vim一个环境变量好了 结束之后我们关闭防火墙什么的乱七八糟开始格式化cd $HADOOP_HOMEhdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.sh这四个进去后我的端口就是imroot:50070...

2018-07-11 01:31:25 219 2

提示
确定要删除当前文章?
取消 删除