- 博客(118)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 yarn快速理解
目录yarn的基本概念yarn的大体机制yarn的安装yarn的基本概念yarn是一个分布式程序的运行调度平台yarn中有两大核心角色：1.Resource Manager接受用户提交的分布式计算程序，并为其划分资源，管理、监控各个Node Manager上的资源情况，以便于均衡负载2.Node Manager管理它所在机器的运算资源（cpu + 内存），负责接受Resource Manager分配的任务，创建容器、回收资源yarn的大
2020-12-27 16:26:06
229
1
原创 zookeeper详解
先看一张hadoop的HA工作机制示意图可以看到zookeeper（基础组件）在HA的集群中，帮助管理日志系统，解决单点故障问题。zookeeper的基本功能和应用场景zookeeper的功能：1.可以为客户端管理少量数据（k,v）2.可以为客户端监听指定数据节点的状态并在数据节点发生变化时通知客户端。应用场景：服务器上下线的动态感知zookeeper的整体运行机制zookeeper的数据存储机制数据存储形式zookeeper中对用户的数据采用kv形式
2020-12-24 21:00:11
646
4
原创 hive的函数
目录表生成函数集合函数条件控制函数分析函数级联报表查询窗口分析函数hive 自定义函数json解析函数表生成函数集合函数--集合函数select sort_array(array('y','z','q'));size(Map<K,V>)--返回一个值map_keys(Map<K,V>)--返回一个数组map_values(Map<K,V>)--返回一个数组条件控制函数--条件控制函数（case when）-
2020-12-24 10:38:50
238
原创 hive统计每日的活跃用户和新用户sql开发（附shell脚本）
假如有一个web系统，每天生成以下日志文件：2020年12月21日数据192.228.33.6,hunter,2020-12-21 10:30:20,/a192.228.33.7,hunter,2020-12-21 10:30:26,/b192.228.33.6,jack,2020-12-21 10:30:27,/a192.228.33.8,tom,2020-12-21 10:30:28,/b192.228.33.9,rose,2020-12-21 10:30:30,/b192.228.3
2020-12-23 21:36:36
2152
原创 linux主机模式（Host-Only）的网络配置
1.虚拟机网络设置配置虚拟机的网络设置为hostonly2.虚拟软件网络设置选择vmware - 编辑 –虚拟机网络编辑器3.配置虚拟软件中vmnet1的IP为VMnet1选择一个网段，不修改0号ip地址。4.查看win7 VMnet1网络此时，物理机上的vmware vmnet1网络已经改变这个IP地址其实是Windows的IP地址，该IP地址是用于与host-only网络连接方式的虚拟机进行通信的5.修改虚拟机的ip地址信息...
2020-12-23 09:42:37
2650
原创 Vmware安装Centos教程（通用）
1 打开vmware虚拟机2 选择自定义安装3 选择稍后安装操作系统4 选择操作系统及版本5 命名虚拟机6 配置处理器和内存7 选择网络类型8 选择控制器类型和磁盘类型9 分配磁盘空间10 指定磁盘文件已创建完成，但还不能使用此时启动会失败，先去本地找iso镜像文件，本地没有去网络下载，下载实际做的是，发一个广播...
2020-12-22 22:03:30
219
原创 linux集群环境搭建
集群 ：多台机器组成集群运行模式 单机模式 伪分布模式 hdfs 集群模式 :一个主节点，几个从节点 制作模板机：1.配置主机名 2.配置映射关系3.配置网卡4.关闭防火墙 5.删除 /etc/udev/rules.d/70-persistent-net.rules 6.远程连接快照（checkpoint）：关机或开着都可拍摄快照，配置好的虚拟机可以压缩存储解压缩直接使用。克隆：必须关机，创建完整克隆，生成MAC（网络适配器——高级——生成）...
2020-12-22 21:48:51
411
原创 linux简介及安装使用
目录Linux介绍Linux应用领域Linux特点Linux目录结构Linux常用命令VIM文本编辑器、Linux权限管理Linux环境配置RPM和yum软件包管理VMwareVMware主要特点：minimal镜像安装Linux介绍Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux发行版本（基于内核，增加了一些桌面，应用程序），都使用了Linux内核。Linux内核网站：www.kernel.orgLinux应用领域1.L...
2020-12-22 21:39:56
189
原创 hive查询的相关示例
hive基本查询--hive基本查询select * from a;select max(ip) from a;select count(*) from a;hive 条件查询--hive 条件查询select *from t_pv_logwhere access_time>'2020-11-26 15:31:33';关联查询1.内连接--1.内连接（笛卡尔积），右边字段依次和左边的连一遍select t_a.*,t_b.*from a t_a inner
2020-12-14 17:34:09
515
1
原创 快速上手Hive，安装到使用的流程介绍
hive（数据仓库）：用来做数据（海量数据处理）统计、分析hive的功能解释web日志集群每天产生大量的log日志会被采集到HDFS文件系统上，文件内容都是一条条的记录，每条记录中包含很多字段，hive可以像mysql那样建表存储数据，不同的是hive可以把文件中每条记录的内容与表中的字段进行映射，并且hive有自己的mapreduce程序，可以用来统计计算。对于日志中内容的统计、分析，只需要在终端输入sql语句，hive会进行解析并组装一个MR job 提交到yarn上计算给出结果。使用.
2020-12-10 21:20:36
417
转载 mybatis查询不到中文数据
现象：直接运行SQL语句，可以查询到数据。但是通过mybatis执行，却拿不到数据。测试发现，如果查询字段的值为中文，mybatis拿不到数据。但是英文没有问题。可知是编码的问题。修改数据库链接，指定编码为UTF-8，问题解决。...
2020-10-20 14:26:59
917
4
原创 解决could not find “mybatis.xml“
昨天上手MyBatis第一个入门案例，按照视频教学，自己实现了下，结果漏洞百出。1.selectOne();挂红整个程序运行成功后删除也是可以的，不知道为什么。。。。2.mybatis测试程序报错：could not find "mybatis.xml"解决方法是：将该配置文件所在文件夹设置成源文件夹即可...
2020-10-20 13:14:18
319
1
原创 解决使用MyBatis查询某个字段结果为null
问题：在数据库中能查出某条记录mybatis查询结果： 有个字段的值始终为空。排错后发现：总结：一个比较低级的错误~~~
2020-10-20 11:31:32
1649
3
原创 解决Exception in thread “main“ com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications
这个问题出现的原因是在数据库连接失败，从网上查了下，解决的方法五花八门，有改配置文件的，还有改代码的。但是每个人实质原因不同也会出现同样的错误。发了会呆，突然想明白，数据库连接不上，要么是url,要么是用户名或者密码。往后一翻，真正的原因找到了。。。出错代码：String url="jdbc:mysql://localhost:3306/jdbcstudy?useUnicode=true&characterEncoding=utf8&useSSL=true";Strin.
2020-10-18 21:12:30
10774
17
原创 mysqldump命令
MySQL备份：用命令的方式导出库、表#导出-- mysqldump -h主机 -u用户名 -p密码 数据库 表名 >物理磁盘位置/文件名mysqldump -hlocalhost -uroot -p123456 school student >D:/student.sql-- mysqldump -h主机 -u用户名 -p密码 数据库 表1 表2 表3 >物理磁盘位置/文件名mysqldump -hlocalhost -uroot -p123456 school stud
2020-10-18 16:38:24
323
1
原创 MySql的详细安装说明
下载：https://dev.mysql.com/downloads/mysql/（下载5.7版本，较稳定）直接下载免安装压缩包（不要.exe）安装：下载完成后，右击解压到指定目录配置环境变量：右击我的电脑——属性新建mysql配置文件：[mysqld]basedir=D:\mysql\mysql-5.7.31-winx64\datadir=D:\mysql\mysql-5.7.31-winx64\data\port=3306skip-grant-t..
2020-10-15 13:35:43
199
2
原创 Linux桥接模式的网络配置
1.右击虚拟机2.win+r---cmd :查看物理机ip3.配置网卡4.重启 、测试修改完后保存退出，重启网络服务测试：在windows上ping Linux这种网络配置方式，在一个局域网下的另一台机器也可以访问这台主机。图解...
2020-10-12 17:26:29
549
2
原创 Linux权限管理
三种基本权限 r 读权限（read）；w 写权限（write）；x 执行权限 （execute）权限说明所有者 所属组 其他人第1位：文件类型（d 目录，- 普通文件，l 链接文件）类型：f 二进制文件 l 软连接文件 d 目录第2-4位：所属用户(所有者)权限，用u（user）表示第5-7位：所属组权限，用g（group）表示第8-10位：其他用户（其他人）权限，用o（other）表示第2-10位：表示所有的权限，用a（all）表示 字符 ...
2020-10-12 11:11:03
160
原创 rpm命令使用
rpm的常用参数i：安装应用程序vh：显示安装进度；U：升级软件包；qa: 显示所有已安装软件包e：卸载应用程序注意：如果其它软件包有依赖关系，卸载时会产生提示信息，可使用--nodeps强行卸载。查询所有安装的rpm包: rpm –qa查询mysql相关的包： # rpm –qa | grep mysql安装：rpm-ivh 包名卸载： rpm –e mysql*强行卸载：rpm –e mysql* --nodeps...
2020-10-12 10:54:08
269
原创 集群下各节点间文件拷贝命令scp
集群模式下，各节点之间如何方便的拷贝文件？命令格式：scp file 远程用户名@远程服务器IP:~/ （注意：冒号和目录之间不能有空格）~:到当前用户的宿主目录如果拷贝目录，需要加-r 选项。要使用root用户注：使用`pwd`或者$PWD 默认到当前目录。可以通过这种方式修改拷贝的文件名。...
2020-10-12 10:25:41
3586
原创 ssh&&免密登录配置
在第一台机器上生成一对钥匙，公钥和私钥当前用户的宿主目录下的.ssh目录多了两个文件2.将公钥拷贝给要免密码登录的机器注意：主机名和ip都可以（确保配置了主机名 ip的映射）拷贝完成之后，会在要免密登录的机器上生成授权密码文件3.验证免密码登录注意：免密码登录是单向的（还需配置另一台机器）扩展：ssh免密登录原理：1.slave2 使用 ssh-keygen –t rsa 生成公钥和私钥2.ssh-copy-id root@slav...
2020-10-12 09:27:28
372
原创 Linux的jdk安装（配多图）
安装包下载下载jdk8上传安装包到服务器方法一：工具1.secureFXP输入用户密码 –确认选择二进制文件，保证文件的完整性2.mobaxterm方法二：命令（secureFXP）方法三：sftp（secureFXP）在secure 窗口下，按住alt + p 进入sftp模式直接把文件拉到sftp窗口下，即可完成文件的上传。相当于使用put –r 文件名 下载直接使用 get ...
2020-10-11 21:48:27
306
1
原创 yum管理常用命令及搭建本地yum源
YUM:(yellowdog updater modified)软件包管理工具应用yum的好处:1,自动解决软件包依赖关系2,方便软件包升级作用 命令 解释 查询 yum list 查询所有可用软件包列表 yum search 关键字 搜索服务器上所有和关键字相关的包 yum info 关键字 查找包名 yum repol...
2020-10-11 12:29:58
543
2
转载 视频中提取帧图片并保存(cv2.VideoCapture)
转自：JNingWei# coding=utf-8# 全局变量VIDEO_PATH = './1.avi' # 视频地址EXTRACT_FOLDER = './extract_folder' # 存放帧图片的位置EXTRACT_FREQUENCY = 100 # 帧提取频率def extract_frames(video_path, dst_folder, index): # 主操作 import cv2 video = cv2.VideoCapture().
2020-10-07 20:23:34
1394
1
原创 【Java SE 代码回顾】——day07_交互层、业务层、DAO层的商品管理Demo
从底层开始写（也可以从交互层写）-----------------------------------------HashMap静态数据库-----------------------------------------package cn.tjpu.javase07.exam.diffcult;import java.util.HashMap;/** * 模拟数据库 * 建一个静态的HashMap用来存放商品数据 */public class ProductDataBase {
2020-10-02 12:23:21
510
原创 【Java SE 代码回顾】——day07_静态代码块
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。---------------------------------------------------静态代码块-----------------------..
2020-09-30 20:06:13
180
原创 Linux常用命令语法（四）修改主机名和ip的映射关系
网络通信命令命令 作用 语法 选项 ping 测试网络的连通性 ping 选项 IP地址 -c 指定发送次数 ping 命令使用的是icmp协议，不占用端口 ifconfig 查看和设置网卡网络配置 ifconfig[-a] [网卡设备标识] -a：显示所有网卡信息 ifconfig [网卡设备标识] IP.
2020-09-30 17:51:35
869
1
原创 详解vim命令用法
vim比起其他外部命令更加复杂，它是用来编辑各种配置文件的，也叫vim文本编辑器，有属于自己的一套命令操作。VIM工作模式命令模式：又称一般模式编辑模式：又称底行模式，命令行模式插入命令命令 作用 命令 作用 a 在光标后附加文本 A（shift + a） 在本行行末附加文本 行尾 i 在光标前插入文本 I(shift+i) ..
2020-09-30 09:14:17
2058
10
原创 Linux常用命令语法（三）压缩解压命令，附命令行操作常用快捷键
压缩解压命令命令 作用 语法 选项 gzip 压缩(解压)文件,压缩文件后缀为.gz gzip 文件 -d将压缩文件解压（decompress） 解压使用gzip –d或者 gunzip bzip2 压缩(解压)文件,压缩文件后缀为.bz2 bzip2 [-k] [文件] -k:产生压缩文件后保留原文件（压缩...
2020-09-29 14:54:07
1000
2
原创 Linux常用命令语法（二）文件搜索命令
文件搜索命令 命令 作用 语法 选项 find 查找文件或目录 find [搜索路径] [匹配条件] -name 按名称查找 精准查找 -iname 按名称查找 find查找中的字符匹配： *：匹配所有 ？：匹配单个字符 模糊匹配的条件，建议使用单引号或双引号括起来。如果*被转义，可使用 单双引号括住查询条件，或者使用\*。 -size 按文件大小查找...
2020-09-29 13:32:09
153
原创 Linux常用命令语法（一）文件处理
命令格式：命令 [-选项] [参数]如：ls -la /usr说明： 大部分命令遵从该格式，多个选项时，可以一起写 eg:ls –l –a ls –la文件处理命令 作用 语法 选项 cd 切换目录 cd [目录] /切换到根目录 ..回到上一级目录 . 当前目录 - 显示并打开到上一次操作的目录 ~ 当前用户的宿主目录（eg:# cd ~用户名 进...
2020-09-28 21:57:26
298
原创 【Java SE 代码回顾】——day06_HashMap、HashSet、增强for循环
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。------------------------------------------------------HashMap--------------------..
2020-09-28 21:09:33
285
原创 Linux网络NAT配置和远程连接（CentOS7）
网卡配置右击虚拟机：按照下图设置：查看网关，默认2打开网络共享中心——网络适配器，可以查看物理机ip接下来配置网卡，进入网卡配置文件目录，vi 文件i/a/o编辑（千万写仔细了，丢了一个字母都出错）esc退出编辑，：wq保存退出重启网卡，查看虚拟机ip，测试：远程连接在该用户下建一个目录和文件：打开任意一个连接服务器的软件（mobileXterm）,输入、服务器ip连接连接之后查看服务器上建的文件夹：...
2020-09-28 14:59:25
2148
原创 【Java SE 代码回顾】——day05_私有属性、公有方法、switch
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。------------------------------------------------------游戏模拟-----------------------..
2020-09-27 19:58:41
257
原创 【Java SE 代码回顾】——day04_列表、静态方法、构造方法
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。------------------------------------------------------ArrayList------------------..
2020-09-27 18:12:24
169
原创 【Java SE 代码回顾】——day03_构造函数、字符串切割
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。--------------------------------------------------客户信息管理-------------------------..
2020-09-26 21:05:55
140
原创 【Java SE 代码回顾】——day02_数组、排序、自定义类
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。----------------------------------------------------------------------ArrayDemo01-.
2020-09-26 20:43:01
176
原创 【Java SE 代码回顾】——day01_基本知识Demo
这个系列是对javaSE课程代码的回顾，所有Demo都是亲自动手实现的，并做了小小的change，为了方便自己理解和后期复习，代码里加了大量的注释。现对所有知识点的代码进行复习整理，进一步理解、完善代码，对注释进行补充。其中重要的知识点会单独说明，但主要以代码为主。说明：博客是对学习内容的巩固，很多注释是为了自己理解，所以不会很专业。package cn.tjpu.javase01;/** * 该类实现从终端接收字符串并拼接打印 */import java.util.Scanner;.
2020-09-26 19:55:02
178
2
原创 在windows的命令提示符中将工程项目打包（jar包）
沿用这篇解析json文件，在命令提示符中编译运行代码，将解析工具打包。命令：jar -cvf name.jar src .name：jar包名 ，src . ：将src目录下的所有东西打包文件夹中就会出现这个jar包：打开就会看到里面的放进去的内容：现在读取这个jar包来测试解析工具：命令：java -cp .\moviePars.jar;gson-2.8.0.jar json.rate.pars.Test...
2020-09-26 16:57:18
460
原创 解析json文件，在命令提示符中编译运行
有一个电影评分的json文件，打开如图所示：现读取该文件内容，并按对象一条条显示。具体代码实现：package json.rate.pars;/**定义一个类用来描述电影评分的一些属性**/public class MovieRate { private String movie; private String rate; private String timeStamp; private String uid; //方便打印生成一个tostring publi
2020-09-26 16:27:32
1668
数据结构ppt和习题
2020-07-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人