- 博客(26)
- 资源 (26)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive启动快捷指令
cd /export/servers/hive-1.1.0-cdh5.14.0nohup bin/hive --service metastore &nohup bin/hive --service hiveserver2 &
2020-12-30 19:55:24
384
原创 知行教育项目_mysql升级版本
方法千万条，备份第一条！运行：service mysqld start 重启数据库总是会出现如下提示：MySQL Daemon failed to start.Starting mysqld: [FAILED]的提示。如果直接输入 mysql -root -p登陆会出现[mysql]ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2)的错误提示。总之
2020-12-30 10:35:53
409
原创 Sqoop Job报错日志
hcatalog环境变量没配/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export HCAT_HOME=/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export PATH=$PATH:$HCAT_HOME/bin
2020-12-29 17:24:20
771
原创 知行教育项目之Hive参数优化(一)
例如，table总bucket数为6，tablesample(bucket 1 out of 2)，表示总共抽取（6/2=）3个bucket的数据，从第1个bucket开始，抽取第1(x)个和第3(x+y)个和第5(x+y)个bucket的数据。mapjoin还有一个很大的好处是能够进行不等连接的join操作，如果将不等条件写在where中，那么mapreduce过程中会进行笛卡尔积，运行效率特别低，如果使用mapjoin操作，在map的过程中就完成了不等值的join操作，效率会高很多。
2020-12-29 14:50:24
712
原创 sqoop快速安装
安装sqoop的前提是已经具备java和hadoop的环境。最新稳定版： 1.4.6配置文件修改：cd /export/servers/sqoop/conf/cp sqoop-env-template.sh sqoop-env.shvim sqoop-env.shexport HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6
2020-12-28 20:29:16
351
原创 知行教育项目介绍
项目一：创维互联新能源大数据平台项目名称：新能云平台软件架构：kafka+strom+redis+hbase+hive+cdh+sqoop开发环境：eclipse + jdk1.7 + mysql + maven+ svn项目描述：随着国家对新能源行业的重视和发展，利用大数据技术，以软件免费共享的模式，实现电站发电设备状态可控在控、故障处理准确及时、人员操作安全规范、统计分析深入全面、运行维护智能高效、经营效益不断提高。责任描述：
2020-12-28 19:41:32
14491
1
原创 知行教育_访问咨询主题-增量采集
文章目录访问咨询主题-增量采集业务数据库 - > ODS的流程配置ODS -> DWD的流程DWD -> DWS 流程问题:分析针对增量数据的不同做法以及优缺点过期数据的删除DWS -> MySQL访问咨询主题-增量采集注意点：业务系统中，数据表的后缀是 年_月 ，这就表明随着时间推移，被采集的表的后缀是动态变化的。我们的脚本也要做到这一点这个功能要做成自动化的脚本，脚本能够每天定时执行增量采集，一天执行一次当天采集昨日数据业务数据库 - > ODS的流程
2020-12-28 18:01:29
452
原创 在Linux安装Python3
yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make zlib zlib-devel libffi-devel -ywget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz解压安装包，并cd进去编译并安装./configure --prefix=/usr/local/p
2020-12-28 11:18:13
295
1
原创 大数据数仓项目--知行教育_访问咨询主题_全量流程
文章目录4.6 全量流程4.6.1 数据采集4.6.3 统计分析4.6.3.2.2 搜索来源分组4.6.3.2.3 来源渠道分组4.6.3.2.4 会话来源页面分组4.6.3.2.5 总访问量4.6.4 导出数据4.6 全量流程OLTP原始数据(mysql)——》数据采集(ODS)——》清洗转换(DWD)——》统计分析(DWS)——》导出至OLAP(Mysql)，如图：4.6.1 数据采集4.6.1.1 web_chat_ems表4.6.1.1.1 SQL：select id,
2020-12-25 16:17:27
946
原创 Git 分支管理
文章目录分支管理合并分支解决冲突分支管理1.创建合并分支在我们每次的提交，Git都把它们串成一条时间线，这条时间线就是一个分支。截止到目前，只有一条时间线，在Git里，这个分支叫主分支，即master分支。HEAD指针严格来说不是指向提交，而是指向master，master才是指向提交的，所以，HEAD指向的就是当前分支。一开始的时候，master分支是一条线，Git用master指向最新的提交，再用HEAD指向master，就能确定当前分支，以及当前分支的提交点：每次提交，maste
2020-12-23 19:27:49
439
2
原创 Git与Gitee的远程仓库建立
文章目录1.0 ssh密钥的生成1.2.4 ssh 密钥配置1.3.2 使用TortoiseGit同步2.从远程仓库克隆3 从远程仓库取代码1.0 ssh密钥的生成在windows下我们可以使用 Git Bash.exe来生成密钥，可以通过开始菜单或者右键菜单打开Git Bashgit bash 执行命令,生命公钥和私钥命令: ssh-keygen -t rsa执行命令完成后,在window本地用户.ssh目录C:\Users\用户名.ssh下面生成如下名称的公钥和私钥: 6.1.2.4
2020-12-23 18:56:48
339
原创 SpringBootRestFul快速入门
SpringBootRestFul1.什么是 RESTFulRESTful 是一种软件架构风格、设计风格，而不是标准。 只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风 格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。 当前阶段可以理解为 使用请求方式(POST,GET,PUT,DELETE)来定位方法的一种请求路径写法.CustomerController.java添加 /** * ajax操作：保存客户信息 * @pa
2020-12-19 18:00:42
450
1
原创 Sqoop练习题
文章目录Sqoop练习题题一题二Sqoop练习题题一1.准备数据CREATE TABLE student (id int(11) DEFAULT NULL,name varchar(100) DEFAULT NULL,class varchar(100) DEFAULT NULL,age int(11) DEFAULT NULL,high varchar(10) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=latin1;INSERT INTO
2020-12-17 20:18:36
1112
原创 SpringBoot快速入门
文章目录SpringBoot入门代码部分SpringBoot入门SpringBoot是Spring产品之一，为了简化程序员 框架环境搭建 花费的精力和时间。使用SpringBoot，程序员可以快速搭建框架项目，将更多精力投放在业务代码实现上。SpringBoot 尽可能简化XML配置springBoot可以一键式搭建项目环境，简化依赖管理。Mybatis的XML开发全面替换为注解版或通用Mapper版。默认的脚手架配置网址，不容易建立链接的。请选择Custom，使用阿里云的spring
2020-12-16 19:52:46
350
原创 漫谈数字经济和个人发展
漫谈数字经济和个人发展报告以"迈入数字时代"为始,开启了演讲。[1]追溯数字时代的发展历程可从上世纪四十年代计算机的发明开始,直至今日的大数据时代的到来。期间数字技术从未停止发展的步伐,有别于传统数据处理方案的数据量小，记录不完整，结构单一，大数据技术诞生之初，便为海量数据的处理提供解决方案。2020年全球新冠疫情严峻，世界加速线上化、数字化、云化，后疫情时代的今天，数字经济蓬勃发展。[2]早年十九大报告便把数据列为核心的生产要素，数据被誉为二十一世纪的“石油”，谁掌握了数据，谁就极大可能掌握了未来。徐
2020-12-13 00:24:28
1124
1
原创 Java基础中的基础—- Java语法必背规律
1、indexOf题目，若需要寻找 子串"ab"的所有出现索引， 规律： 1、定义查找的起始索引start，从0开始 int start = 0; 2、每次从起始索引查找。 int index = 字符串.indexOf("ab",start); 3、查找完毕，起始索引 = 找到的索引+1 start = index+1;2、遍历中，判定当前是否为最后一个元素。 if(i==arr.length-1){ //最后一个元素 }3、若要将现在时间，向后推 1天
2020-12-12 15:44:11
509
原创 Hive的优化命令
set hive.exec.mode.local.auto=true; //开启本地mr//设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128Mset hive.exec.mode.local.auto.inputbytes.max=51234560;//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4set hive.exec.mode.local.auto.inpu
2020-12-11 15:34:20
361
原创 HDFS JAVAAPI总结
package com.nzqk.demo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.jupiter.api.Test;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;/**@Version 1.0@Author:zhaoJiaC
2020-12-10 08:26:28
822
原创 Apache Impala 的安装部署
4．配置本地yum源4.1．上传安装包解压使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。cd /cloudera_datatar -zxvf cdh5.14.0-centos6.tar.gz4.2．配置本地yum源信息安装Apache Server服务器yum -y install httpdservice httpd startchkconfig httpd on配置本地yum源的文件cd /etc/yum.repos.dvim localim
2020-12-07 17:24:50
1007
原创 Apache Impala(demo)
一、Apache Impala1．Impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应我们即将学的
2020-12-07 15:11:59
360
原创 Apache Flume及快速安装
Apache Flume 介绍在一个完整的离线大数据处理系统中，除了 hdfs+mapreduce+hive 组成分析系统的核心之外， 还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop 生态体系中都有便捷的开源框架
2020-12-07 08:07:19
731
原创 Azkaban Web Client 的简单使用
生成一个每天上课前的工作流type=commandcommand=echo "起床"type=commanddependencies={依赖job的名称1},{依赖job的名称2}command=echo "yf上课"
2020-12-06 15:22:51
489
原创 用Hue分析马老师的B站视频弹幕----我发现了一个新词
CREATE DATABASE IF NOT EXISTS test;use test;创建数据库create external table MBGAnalyse (dm_time STRING,send_date STRING,send_month STRING,send_time STRING,text STRING,user_id STRING) row format delimited fields terminated by ',';load data inpath '/user/
2020-12-05 23:06:27
399
1
原创 Hue安装错误集锦 系统自带的镜像源搞了好久不行,换成sohu的
Access denied for user ‘root’@‘localhost’ (using password: NO)在smtp设置主机名,端口号,账号,密码Access denied for user ‘root’@‘localhost’ (using password: NO)没检查少了去##
2020-12-03 21:39:07
521
原创 Hive 基本操作(创建数据库与创建数据库表)
二、Hive基本操作2.1、创建数据库与创建数据库表创建数据库操作创建数据库create database if not exists myhive;use myhive;说明：hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>创建数据库并指定hdfs存储位置
2020-12-02 16:20:53
10799
原创 Linux 换成国内镜像源(加快yum下载速度)
Linux 换成国内镜像源(加快yum下载速度)cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo.backupwget http://mirrors.163.com/.help/CentOS6-Base-163.repomv CentOS6-Base-163.repo CentOS-Base.repoyum clean all
2020-12-02 15:36:56
936
【知识库问答】保姆级教程之文心大模型版.pdf
2024-03-24
购物系统项目(文档+视频+源码).7z
2024-01-30
员工工资管理系统(文档+视频+源码).7z
2024-01-30
仓库商品管理系统(文档+视频+源码).7z
2024-01-30
学生选课系统(文档+视频+源码).7z
2024-01-30
图书管管理系统(视频+源码).7z
2024-01-30
学生选课成绩信息管理系统(ER图文档+视频+源码).7z
2024-01-30
学生信息管理(文档+视频+源码).7z
2024-01-30
Mysql和Oracle飞机订票系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
酒店管理系统(ppt+ER图+流程图+需求背景数据库+架构说明有lun文视频源码齐全).7z
2024-01-30
汽车租赁管理系统(详细文档+视频+源码).7z
2024-01-30
CDGA超全资料（包含电子书、学习笔记、思维导图、刷题和必背知识点）
2024-01-30
MaynorAI 一站式调用国内外AI服务平台
2024-06-28
chatgp apk安装包
2024-06-01
chatgpt windows客户端
2024-06-01
GPT安卓android安装包
2024-06-01
数据库系统工程师考点笔记.pdf
2024-05-13
大模型简历模板之CV简历模板1.doc
2024-05-06
大模型简历模板之CV简历模板2.docx
2024-05-06
大模型简历模板之NLP简历模板2.doc
2024-05-06
大模型简历模板之cv简历模板9.docx
2024-05-06
大模型简历模板之NLP简历模板3.docx
2024-05-06
大模型简历模板之NLP简历模板.docx
2024-05-06
大模型简历模板之cv简历模板10.doc
2024-05-06
大模型简历模板之cv简历模板7.docx
2024-05-06
大模型简历模板之cv简历模板6.docx
2024-05-06
大模型简历模板之cv简历模板8.doc
2024-05-06
大模型简历模板之cv简历模板4.docx
2024-05-06
大模型简历模板之cv简历模板5.doc
2024-05-06
大模型简历模板之cv简历模板3.docx
2024-05-06
Oracle 转化成 Hive Sql的规则 正则已写好 (要求讲清思路)
2021-08-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人