centos7安装mysql5.7

70 yum install mysql-server 71 mysql -uroot -p 75 grep 'temporary password' /var/log/mysqld.log 76 cat /var/log/mysqld.log 77 ...

2019-01-16 20:22:59

阅读数 33

评论数 0

sandbox HDP修改默认mysql密码

事件发生原因 vi /etc/my.cnf 进入该目录修改在文件的最后添加一行“skip-grant-tables”          

2019-01-16 10:41:49

阅读数 130

评论数 0

基于docker安装sandbox实现3节点集群

前提条件 目前,CentOS 仅发行版本中的内核支持 Docker。 Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。 Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-...

2019-01-16 09:27:38

阅读数 115

评论数 0

基于Ambari安装HDP2.6.X

说明,本次采用三台服务器去安装Hadoop生态圈全家桶 第一部分:安装 第二部分:出现问题解决方案     第一部分 首先需要三台ssh互通其次也需要自己对自己互通,避免出现安装过程中自己不能和自己连接,如果自己没有对自己ssh免密则下面第一个爆红 关闭SELinux 永久关闭防火...

2019-01-14 11:09:51

阅读数 389

评论数 4

2019.1.7mysql总结(优化代码)

跨库查询修改添加   Top10.社区人口数量柱状图 USE test; SELECT AREANAME,COUNT(AREANAME)AS NUMB FROM data_aggregation.ZFW_WGH_V_LDPEO GROUP BY AREANAME LIMIT 10   ...

2019-01-07 15:29:26

阅读数 60

评论数 0

mysql一些应用(坐标,检索,合并,分组,针对身份证)

获取某表内的坐标信息 CREATE TABLE demo1 select * FROM ( SELECT tzz_csyygl_v_his_citycases.CENTER_X,tzz_csyygl_v_his_citycases.CENTER_Y FROM tzz_csyygl_v_his_...

2019-01-07 09:27:44

阅读数 259

评论数 0

spark structured streaming

         引用Spark commiter(gatorsmile)的话:“从Spark-2.X版本后,Spark streaming就进入维护模式,Spark streaming是低阶API,给码农用的,各种坑;Structured streaming是给人设计的API,简单易用。由于太...

2018-11-06 15:11:48

阅读数 73

评论数 0

基于spark streaming的流数据处理和分析

Stream context 相当于spark context 做实时处理就得用到   setup之后如果close你需要重新创建一个,重启是不行的     词频统计,stream context ssc.start()执行之后,上面代码段才会执行   一系列不停的R...

2018-11-06 14:56:15

阅读数 1182

评论数 0

Oozie的应用

  oozie的特点 工作流管理工具 可以轻量级, 再提交端要求轻量级 提交job会返回jobid   做一个例子   Step 1: Download the Oozie tarball Wget http://archive.apache.org/dist/oozie/4....

2018-11-06 14:40:02

阅读数 118

评论数 0

oozie简单应用

前言:        因为工作需要用到oozie,但是晚上的资料确实越看越迷茫,经过很大的努力,终于折腾清楚了,这里,做一个总结,帮助后来者更好地进行入门,当然,粗鄙之言,难免疏漏,欢迎交流指正   引入:        对于我们的工作,可能需要好几个hadoop作业(job)来协作完成,...

2018-11-04 11:08:48

阅读数 282

评论数 0

授权mysql远程登陆

 grant all privileges on *.* to 'root'@'%' identified by 'hadoop' with grant option;   flush privileges;  

2018-10-23 17:07:33

阅读数 58

评论数 0

flume的简单应用

  主要实现的是数据源到flume然后sink到对应topic里,随后项目会写到hbase   首先,数据源的地址要创建然后把文件放入   目前数据源这一块是完成了 然后我们配置flume上面的东西 events.sources = eventsSource events....

2018-10-18 18:14:03

阅读数 55

评论数 0

Grafana项目流程

先用Xftp向虚拟机BIG_DATA_LAB_NEW中的/opt/lib中导入df_connect_finance-0.1-jar-with-dependencies.jar 与 jdbc_mysql_5.1.44-dependencies.jar这两个jar包。 如果jar包在后面运行有问题的话...

2018-10-16 14:45:03

阅读数 374

评论数 0

Kafka入门,producer和consumer与hive

{        "name":"hdfs-hive-sink-03",        "config":{               "connector.cla...

2018-09-26 16:27:29

阅读数 278

评论数 0

Scala text

https://gitee.com/shuijin666/Scala-text/tree/master  

2018-08-21 18:41:28

阅读数 467

评论数 0

通过java在hbase上进行表单的增删改查

https://gitee.com/shuijin666/hbase_java_api-by-whj.git

2018-08-14 19:22:01

阅读数 550

评论数 0

hive和hbase区别

1. 两者分别是什么?    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--...

2018-08-13 19:57:53

阅读数 54

评论数 0

hbase一些小总结(增删改查)

HBase概述 1)构建在HDFS之上 2) 分布式: 分而治之 3)面向列: HBase特点 1)大 2)面向列:数据构成,列族(多个列) 3)稀疏:null 4)数据类型单一:string 5)无模式: 每行数据所对应的列是可以不同     user: id  name password ...

2018-08-13 16:47:54

阅读数 831

评论数 0

2018.8.8hive一些常用命令总结

登陆(docker中): beeline -u "jdbc:hive2://localhost:10000/default 建库: select current_databases(); usedefault create database myhive1 use myhive...

2018-08-08 14:03:24

阅读数 432

评论数 0

hive基础入门------建(外)内表导入数据

 连接hive beeline beeline -u "jdbc:hive2://localhost:10000/default" 查看数据库下的表  show tables; 查询数据库 show databases; 新建一个数据库...

2018-08-08 14:01:47

阅读数 759

评论数 0

提示
确定要删除当前文章?
取消 删除