- 博客(41)
- 收藏
- 关注
原创 centos7安装mysql5.7
70 yum install mysql-server 71 mysql -uroot -p 75 grep 'temporary password' /var/log/mysqld.log 76 cat /var/log/mysqld.log 77 ps -ef | grep mysql 82 systemctl start mysqld...
2019-01-16 20:22:59
226
1
原创 sandbox HDP修改默认mysql密码
事件发生原因 vi /etc/my.cnf进入该目录修改在文件的最后添加一行“skip-grant-tables”
2019-01-16 10:41:49
882
原创 基于docker安装sandbox实现3节点集群
前提条件目前,CentOS 仅发行版本中的内核支持 Docker。Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。使用 yum 安装(CentOS 7下)Docker 要求 CentOS...
2019-01-16 09:27:38
1355
原创 基于Ambari安装HDP2.6.X
说明,本次采用三台服务器去安装Hadoop生态圈全家桶第一部分:安装第二部分:出现问题解决方案 第一部分首先需要三台ssh互通其次也需要自己对自己互通,避免出现安装过程中自己不能和自己连接,如果自己没有对自己ssh免密则下面第一个爆红 关闭SELinux 永久关闭防火墙 4查看自己机器名字并修改 hostname -f vi /etc/hostname ...
2019-01-14 11:09:51
1291
4
原创 2019.1.7mysql总结(优化代码)
跨库查询修改添加 Top10.社区人口数量柱状图USE test;SELECT AREANAME,COUNT(AREANAME)AS NUMB FROM data_aggregation.ZFW_WGH_V_LDPEO GROUP BY AREANAME LIMIT 10 创建相应社区表CREATE TABLE Community_population SELECT A...
2019-01-07 15:29:26
206
原创 mysql一些应用(坐标,检索,合并,分组,针对身份证)
获取某表内的坐标信息CREATE TABLE demo1 select * FROM (SELECT tzz_csyygl_v_his_citycases.CENTER_X,tzz_csyygl_v_his_citycases.CENTER_Y FROM tzz_csyygl_v_his_citycases ) Aselect * FROM demo1针对某表的数据进行检索分组...
2019-01-07 09:27:44
693
5
原创 spark structured streaming
引用Spark commiter(gatorsmile)的话:“从Spark-2.X版本后,Spark streaming就进入维护模式,Spark streaming是低阶API,给码农用的,各种坑;Structured streaming是给人设计的API,简单易用。由于太忙,所以一直没有在官方文档上 更新说明信息”Unbounded没有边界的表每一条记录是个wor...
2018-11-06 15:11:48
351
原创 基于spark streaming的流数据处理和分析
Stream context 相当于spark context做实时处理就得用到 setup之后如果close你需要重新创建一个,重启是不行的 词频统计,stream contextssc.start()执行之后,上面代码段才会执行 一系列不停的RDD Receives接收器 创建多个receivers 你需要 在c...
2018-11-06 14:56:15
2291
原创 Oozie的应用
oozie的特点工作流管理工具可以轻量级,再提交端要求轻量级提交job会返回jobid 做一个例子 Step 1: Download the Oozie tarball Wget http://archive.apache.org/dist/oozie/4.2.0/oozie-4.2.0.tar.gz Step 2: Unpack the tarball ...
2018-11-06 14:40:02
529
原创 oozie简单应用
前言: 因为工作需要用到oozie,但是晚上的资料确实越看越迷茫,经过很大的努力,终于折腾清楚了,这里,做一个总结,帮助后来者更好地进行入门,当然,粗鄙之言,难免疏漏,欢迎交流指正 引入: 对于我们的工作,可能需要好几个hadoop作业(job)来协作完成,往往一个job的输出会被当做另一个job的输入来使用,这个时候就涉及到了数据流的处理。 ...
2018-11-04 11:08:48
826
原创 授权mysql远程登陆
grant all privileges on *.* to 'root'@'%' identified by 'hadoop' with grant option; flush privileges;
2018-10-23 17:07:33
244
原创 flume的简单应用
主要实现的是数据源到flume然后sink到对应topic里,随后项目会写到hbase 首先,数据源的地址要创建然后把文件放入 目前数据源这一块是完成了然后我们配置flume上面的东西events.sources = eventsSourceevents.channels = eventsChannelevents.sinks = eventsSink...
2018-10-18 18:14:03
200
原创 Grafana项目流程
先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies.jar 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。如果jar包在后面运行有问题的话,可以用chmod a+rwx df_connect_finance-0.1-jar-with-dep...
2018-10-16 14:45:03
1197
原创 Kafka入门,producer和consumer与hive
{ "name":"hdfs-hive-sink-03", "config":{ "connector.class":"io.confluent.connect.hdfs.HdfsSinkConnector", "tasks.max":"1", &q
2018-09-26 16:27:29
796
原创 通过java在hbase上进行表单的增删改查
https://gitee.com/shuijin666/hbase_java_api-by-whj.git
2018-08-14 19:22:01
775
原创 hive和hbase区别
1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。 Apache HBase是一种Key/V...
2018-08-13 19:57:53
137
原创 hbase一些小总结(增删改查)
HBase概述1)构建在HDFS之上2) 分布式: 分而治之3)面向列:HBase特点1)大2)面向列:数据构成,列族(多个列)3)稀疏:null4)数据类型单一:string5)无模式: 每行数据所对应的列是可以不同 user: id name password age info.... 在创建表的时候就需要指定的6)数据多版本 CellHBase...
2018-08-13 16:47:54
2312
原创 2018.8.8hive一些常用命令总结
登陆(docker中):beeline -u "jdbc:hive2://localhost:10000/default建库:select current_databases();usedefaultcreate database myhive1use myhive1建表:(有LOCATION的是外部表)CREATE EXTERNAL TABLE IF NOT EXISTS e...
2018-08-08 14:03:24
544
原创 hive基础入门------建(外)内表导入数据
连接hive beelinebeeline -u "jdbc:hive2://localhost:10000/default"查看数据库下的表 show tables;查询数据库show databases;新建一个数据库 create database myhive2再次查询show databases; 使用此数据库use ...
2018-08-08 14:01:47
1093
原创 求全年最高温度(通过mapreduce)
首先发地址https://gitee.com/shuijin666/MRtemperature.git里面有个测试文件以及源码打开idea开始同步完成将jar导出然后xshell定位到文件目录执行如下操作hadoop jar temperaturem.jar mapreduce.temperature /demo/temperature.txt /demo/tem...
2018-08-06 12:25:21
1561
原创 mapreduce小项目
wordcount可以说是学大数据中的helloworld,码云代码传送门打包编译虚拟机执行命令有设置参数,而不是固定输出,语法 hadoop jar qqq.jar mavend.Mapreduce /demo/ceshi /demo/new 第一个地址参数自己put上去个例子,第二个文件夹会自动创建先put测试文件,空格作为分割统计,出现次数完成之后去hadoop找自...
2018-08-04 15:33:50
949
原创 hdfs读写
码云地址上面是源码执行的时候打开我们的虚拟机进入我们的jar包目录java -cp qqq.jar mavend.HDFSAPItest -r /biaoshi hdfs://sandbox-hdphellowords.com:8020 ~helloworlds.txt解释一下首先我们把本地文件put到了我们hadoop集群上记得命令使用绝对路径,如何put...
2018-08-04 14:55:54
202
原创 Anaconda在windows安装与环境配置
Anaconda 是一个包含数据科学常用包的 Python 发行版本。它基于 conda ——一个包和环境管理器——衍生而来。你将使用 conda 创建环境,以便分隔使用不同 Python 版本和不同程序包的项目。你还将使用它在环境中安装、卸载和更新包。通过使用 Anaconda,处理数据的过程将更加愉快。Jupyter notebook 是一种 Web 文档,能让你将文本、图像和代码全部组合...
2018-07-25 21:18:43
94372
转载 一些idea的基础设置
说明IntelliJ IDEA 有很多人性化的设置我们必须单独拿出来讲解,也因为这些人性化的设置让我们这些 IntelliJ IDEA 死忠粉更加死心塌地使用它和分享它。常用设置IntelliJ IDEA 的代码提示和补充功能有一个特性:区分大小写。如上图标注 1 所示,默认就是 First letter 区分大小写的。 区分大小写的情况是这样的:比如我们在 Java 代码文件中...
2018-07-25 16:33:09
621
转载 idea main方法以及sysout补全
配置main方法自动补全:1.首先,点击File-->Settings-->Editor-->Live Templates 2.接着,点击右上角“+”添加“Template Group”模板组,如Java3.在新增的模板组内添加模板,点击右上角“+”添加“Live Template” 4.填写模板内容,定义出发快捷键选择 Enter 5.定义...
2018-07-25 16:31:58
9747
转载 HDFS文件常用命令详解
【fs最常用命令】 1 2 3 4 5 6 7 bin/hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录 bin/hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹 bin/hadoop fs -rm hdfs_path ...
2018-07-22 17:21:55
5007
原创 idea自动补全以及设置ec的代码风格快捷键
在IDEA中,默认的代码自动提示不够智能,现在配置成更加智能的方式。File-Settings-Editor-General-Code Completion中把最上面的大小写敏感度改成none,下面的钩全打。 ...
2018-07-18 16:14:07
675
1
原创 2018.7.18关于hadoop读写出现的错误总结
620 cd $HADOOP_HOME 621 cd sbin/ 622 start-dfs.sh 623 start-yarn.sh 624 jps 625 stop-dfs.sh 626 ssh-keygen -t rsa 627 ssh-copy-id whj 628 ssh whj 629 stop-dfs.sh 63...
2018-07-18 15:47:03
252
原创 利用maven配置hadoop
maven在国内使用最好更换源,方法在之前的文章有提到过,现在我们针对如何安装maven以及用maven加载hadoop的jar包进行笔记http://maven.apache.org/download.cgi 请选择最新的版本下载,这里咱们下载的是apache-maven-3.5.2- 当然第二个是我自己创建的文件夹解压完配置maven的环境变量export M2_H...
2018-07-17 13:56:09
3626
原创 maven使用国内源和使用代理
maven安装目录下conf文件夹settings.xml <mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <url&am
2018-07-16 16:32:20
2947
转载 idea 常用快捷键
在使用IntelliJ Idea的时候,使用快捷键是必不可少的。掌握一些常用的快捷键能大大提高我们的开发效率。有些快捷键可以熟练的使用,但是还有另外一些快捷键虽然很好用,但是由于因为没有形成使用习惯或者没有理解快捷键的用法,甚至之前对一些快捷键根本没有概念,导致不会去使用。对于这些快捷键,如果能够用好,编辑代码的效率必能提高一个水平。所以在此梳理出来,加强自己的使用,形成习惯。(注:有些操作...
2018-07-16 16:30:28
185
原创 Ubuntu以及centos7 安装git2.18.0
首先Ubuntu的操作很简单,几乎可以说一条命令解决所有,apt-get install git如果想要安装之前版本的话# add-apt-repository ppa:git-core/ppa # apt update; apt install git就是这样,非常的简单方便,那么对于centos用户会表示完全被忽略的感觉大部分的发行版都有唯独centos会比较麻烦那么要怎么办呢?首先我们我们...
2018-07-14 17:26:00
1220
1
原创 centos7 配置mysql 5.X
第一步:获取mysql YUM源进入mysql官网获取RPM包下载地址https://dev.mysql.com/downloads/repo/yum/ 点击 下载 右击 复制链接地址 https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 得到这个 这个就是Yum仓库的rpm包 其实就是一个下载地址 第二步:...
2018-07-12 17:06:21
156
原创 GPG 错误
Ubuntu 14.0中升级mysql5.5到mysql5.7时候出现错误:7 http://repo.mysql.com/apt/ubuntu bionic InRelease 下列签名无效: EXPKEYSIG 8C718D3B5072E1F5 MySQL Release Engineering <mysql-build@oss.oracl...
2018-07-12 14:12:41
2783
转载 更改Ubuntu源
修改源列表Step1: 找到源列表文件。 文件位置:/etc/apt/sources.list NOTE: 在修改之前记得先备份一份, cp /etc/apt/sources.list /etc/apt/sources.list.backupStep2: 修改源列表。 中国科技大学的源一般使用起来比较快,直接选择中科大的源。 删除source.list文件中的源,将下面的直接复制过去。# UST...
2018-07-12 12:26:59
1776
原创 mysql从删库到跑路 Ubuntu篇
sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremovesudo apt autoclean删除mysql的配置文件sudo rm /etc/mysql/ -R自动卸载mysql(包括server和client)sudo apt-get autoremove mysql* --purge ...
2018-07-12 11:49:41
1192
转载 navicat for mysql for ubuntulinux
官方下载地址:http://www.navicat.com/cn/download/download.htmlnavicat_for_mysql_10.0.11_cn_linux.tar.gz使用方法:1.打开终端:应用程序->系统工具(或附件)->终端,切换到root账户:#su密码:(注意:输入root账户密码时,密码不会显示出来,也没有提示的特殊字符,直接输完密码按Enter键就...
2018-07-12 11:37:26
1272
原创 MySQL5.7在Ubuntu上的安装、配置与使用
环境:Ubuntu 1804 64位待安装:MySQL5.7版本一、安装1、下载mysql-apt的配置包,并安装12wget https://dev.mysql.com/get/mysql-apt-config_0.8.1-1_all.debsudo dpkg -i mysql-apt-config_0.8.1-1_all.deb或者下载社区版本mysql5.7 https://www.c...
2018-07-12 10:39:17
22781
原创 centos 7虚拟机安装hadoop2.7.6分布式
总共你需要配置四个文件以及一个环境变量刷新即可,不用管那么多乱七八糟的第一个vim这个位置第二个vim第三个vim第四个vim一个环境变量好了 结束之后我们关闭防火墙什么的乱七八糟开始格式化cd $HADOOP_HOMEhdfs namenode -formatsbin/start-dfs.shsbin/start-yarn.sh这四个进去后我的端口就是imroot:50070...
2018-07-11 01:31:25
314
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人