- 博客(56)
- 收藏
- 关注
RSS订阅
原创 mysql远程单向实时同步数据库
因为我要同步的数据是实时数据，每日更新，所以选择用这个方式确保要连接的两台服务器上安装的mysql版本差不多这里我使用了navicat工具1.分别给两个数据库创建一个用户名密码都一致的账户，主机填所在服务器的ip2.在作为主库（master）的服务器上打开命令行，进入mysql。赋予所有权给从服务器。grant replication slave on *.* to '用户名l'@'从库...
2019-03-20 18:32:05
3209
原创 VMware Workstation v16.2 + CentOS6.5命令行模式
VMware+centos命令行关于各种网络类型的区别可以看这篇4.批量上传Multiparty file时，用@requestpart注解参数，在post请求中加consumes = Mediatype.MULTIPART_FORM_DATA_VALUE5.时间全
2021-10-22 19:08:47
1198
原创 win10 H3C 映射外网端口，实现外网端口访问
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录①cmd 进入 控制台②登录H3C命令行控制台，输入账号密码③查看dns网卡等基本信息④ 进入系统视图⑤映射⑥查看映射情况⑦取消映射⑧映射一段端口（15000-16999）①cmd 进入 控制台C:\Users\sky>telnet ip②登录H3C命令行控制台，输入账号密码③查看dns网卡等基本信息[H3C]display current-configuration④ 进入系统视图<H3C>sy
2021-08-27 19:21:46
2131
1
原创 java笔记汇总
一、BigdecimalBigdecimal.compareTo(Bigdecimal)//比较大小 -1小于 0等于 1大于Bigdecimal.setScale(n);//保留n为小数Bigdecimal.stripTrailingZeros();//去掉末尾的0Bigdecimal.add(Bigdecimal);//加Bigdecimal.subtract(BigDecimal);//减Bigdecimal.multiply(BigDecimal);//乘Bigdecimal.divi
2021-08-06 13:33:36
111
原创 异常集合总结
一、两个服务分别调用 FileMagic 类处理输入流InputStream，其中一个服务报错如下java.lang.NoClassDefFoundError: org/apache/poi/poifs/filesystem/FileMagic原因 poi 和 poi-ooxml 版本冲突检查pom.xml 文件，未引用这两个依赖，maven里面有3.17，也有3.15版本的包。检查报错的服务，其中有一个接口引用了 import org.apache.poi.ss.usermodel.Workb
2021-07-06 17:55:32
311
原创 java 导出excel
如何得到这样一张表格？在单元格中插入可选下拉框。思路分析：① excel 表头每个字段对应实体的每个字段② 表头字段是从注解 @ExcelProperty的value中取得的（参考alibaba的写excel方法）③那么，是否可以自定义1个注解，这个注解的值包含下拉框的值使用的工具类：easyexcel第一步，自定义一个注解@Documented@Retention(RetentionPolicy.RUNTIME)@Target({ElementType.FIELD})public @i
2021-07-02 20:36:43
444
1
原创 腾讯云API 实现发送短信功能
官方文档 https://cloud.tencent.com/document/product/382/37745发送短信接口：https://cloud.tencent.com/document/product/382/38778java sdk文档说明（可以使用所有的短信API）：https://cloud.tencent.com/document/product/382/43194官方这三个文档已经说明的很清楚了编辑短信相关：登录腾讯云之后，找到首页右上角的控制台入口，点击进入控制
2020-07-14 16:17:47
2025
原创 MySQL源码安装编译及踩过的坑
基本环境：linux centos6.5工具;VMware Workstation源码;mysql-5.6.46.tar.gz 下载网址：https://dev.mysql.com/downloads/mysql/select os system 选择source code准备就绪1.配置/etc/hosts文件，关闭防火墙[root@slave1 ~]# vi /etc/hosts...
2019-10-28 17:43:12
805
原创 Can't open the mysql.plugin table. Please run mysql_upgrade to create it.
mysql-5.6.43，windows10,安装好之后，在命令行net start mysql 时，打印mysql 服务无法启动 1067 进程意外停止进入事件查看器缺少mysql.plugin表，按照提示运行了 mysql_upgrade.exe并没有用，因为mysql根本没启起来mysql.user表不存在找到my.ini中配置的data目录，下面并没有mysql...
2019-04-19 20:02:06
20182
原创 Pycharm导入mysql-connector-python包
python2.7+mysql5.7+mysql-connector-python8.1+Pycharm windows7需要写一个操作数据库的算法按照百度来的方法，在mysql官网下载mysql的驱动 https://dev.mysql.com/downloads/connector/python/安装之后，在命令行和python的交互式命令行可以 import mysql.con...
2019-04-18 10:28:22
6603
6
原创 sqlserver通过odbc链接mysql
由于数据迁移，sqlserver所在服务器需要重新与mysql所在服务器建立连接。第一步：准备好mysql-connector-odbc安装包，不同的版本对应不同的visual studio 版本。mysql-connector-odbc-5.3.11-winx64.msi ------------- visual studio 2013/2015下载地址 mysql ：http://...
2019-01-11 20:15:37
2065
原创 java读取cvs文件并导入数据库
首先获取文件夹下面的所有类型相同的excel，可以用模糊匹配contains(“匹配字段”)public static List getDictory(String path) { File f = new File(path); List<String> dictories = new ArrayList<String>(); if (!f.exists()...
2018-11-26 14:25:37
1535
原创 SQL join
在sql中有四种join （inner）join，left join，right join，full join，区别是什么？表示例：teacher，course总结：inner join： inner 可以省略，查询结果只显示两张表共有的信息left join：查询结果以A表为主表，A表中的数据全部显示right join： 查询结果以B表为主表，B表中的数...
2018-09-12 16:34:21
344
原创 sql经典练习题n.0版
参考原文章：https://blog.csdn.net/qaz13177_58_/article/details/5575711/因为时间过去了八年，所以当时的一些语法在现在的sql数据库中已经不适用了，在原文章的基础上做了一些改进。
2018-09-12 14:33:31
552
原创 char、varchar、nvarchar区别
做个实验，建一个student表，四个字段，全部分配相同的字节空间create table student(id int,name varchar(2),gender char(2),address nvarchar(2))先测试varchar： 结论：可变长度，实际占用的空间与输入的字符长度有关，一个汉字占据两个字节，英文字母占据一个字节。比如varchar（1...
2018-09-05 18:06:22
4050
原创 sql存储过程语法详解
一、定义变量使用关键字declare申明变量：declare @变量名 变量类型/*简单赋值*/ declare @a int set @a=5 print @a/*select赋值*/declare @b nvarchar(10)select @b= stu_name from dbo.student where stu_id=6print @b/...
2018-09-05 15:55:15
6653
原创 虚拟机开机自启动mysql
1.创建一个脚本文件MySQLstart.sh 2.编写脚本内容 3.将创建好的脚本移到/etc/rc.d/init.d目录 4.给脚本赋予可执行权限，并添加到开机自启项目中
2018-07-02 13:59:05
3153
原创 hive的安装配置
一、Mysql的安装配置①我选择的是在线yun安装 yum install -y mysql-server。 ②启动mysql服务service mysqld start。 ③设置root用户密码，刚安装的服务默认是没有密码的，退出，用新设置的密码登录。 ④创建hive用户，密码hive；赋予所有权；刷新使命令生效。 ⑤退出mysql数据库，使用新建立的hive...
2018-06-20 14:14:37
287
原创 在windows上安装mysql
一、下载mysql安装包，我这里下载的是5.6.17-winx64版本的下载地址：https://downloads.mysql.com/archives/community/archive版本无需安装，直接解压即可： 这里的OperatingSystem可以选择Source Code选项下载源码。二、安装（解压） 这里选择解压到D:盘，直接解压 三、配置默认文件...
2018-05-31 16:25:13
337
原创 Hive语法（一）
一、DDL操作HiveQL与关系型数据库的SQL 略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机(online)事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。（一）创建表建表规则： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_nam...
2018-04-16 00:12:28
408
原创 Hive体系结构
Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理。一.如何来分析和管理数据：Hive定义了一种类似SQL的查询语言，被称为HQL，对于熟悉SQL的用户可以直接利用Hive来查询数据。同时，这个语言也允许熟悉 MapReduce 开发者们开发自定义的mappers和reducers来处理内建的mappers和reducers无法完成的复杂的分...
2018-03-27 10:13:39
637
原创 Maven的安装及使用
在Windows环境下输入命令mvn -version来查看是否安装maven。 一、下载安装 Maven官网地址：http://maven.apache.org/，我使用的是maven3.3版本，以下仅做示例 ps：尽量不选择最新版本下载到本地解压安装 二、配置环境变量 三、在MyEclipse上设置Maven1.配置安装路径Inst...
2018-02-11 23:28:40
293
原创 收视率系统
一、项目背景对《中国好声音》、《快乐男声》、《最美和声》、《中国梦之声》等各种音乐选节目收视率的一个调查。依托北330万高清交互数字电视双向用户，从中随机抽取25000户作为样本进行统计。二、项目需求这里展示从节目的维度，统计每个节目的平均收视人数、平均到达人数、收视率、到达率和市场份额。我们根据每天抽样用户的收视数据，统计出每个节目按天、按小时、按分钟的上述5个收视指标。三、 ...
2018-02-11 22:04:27
1976
4
原创 统计明星的搜索指数
一、目的根据给出的数据样本，统计出搜索指数最高的男明星和女明星。二、思路分析1.编写 Mapper类，将数据集解析为 key=gender，value=name+hotIndex，然后输出。 2.编写 Combiner 类，合并 Mapper 输出结果，然后输出给 Reducer。 3.编写 Partitioner 类，按性别，将结果指定给不同的 Reduce 执行。 4.编写
2018-01-18 16:57:10
1286
原创 mapreduce二次排序
一、二次排序发生在需要对 Key 排序的同时再对 Value 进行排序的情况下。 主要分为以下几个阶段：Map 起始阶段在Map阶段，使用 job.setInputFormatClass() 定义的 InputFormat ，将输入的数据集分割成小数据块 split，同时 InputFormat 提供一个 RecordReader的实现。本课程中使用的是 TextInputFormat，
2018-01-14 18:20:26
543
原创 通过五个视频网站数据，分析统计节目受欢迎度
一、需求 自定义输入格式 完成统计任务 输出多个文件输入数据：5个网站的 每天电视剧的 播放量 收藏数 评论数 踩数 赞数输出数据：按网站类别 统计每个电视剧的每个指标的总量任务目标：自定义输入格式 完成统计任务 输出多个文件二、数据部分数据三、思路第一步：定义一个电视剧热度数据的bean。第二步：定义一个读取热度数据的InputFormat类。第三步：写
2018-01-12 18:32:28
3946
原创 自定义InputFormat格式统计学生的平均成绩和总成绩
一、详情介绍 有时候 Hadoop 自带的输入格式，并不能完全满足业务的需求，所以需要根据实际情况自定义 InputFormat 类。而数据源一般都是文件数据，因此自定义 InputFormat时继承 FileInputFormat 类会更为方便，不必考虑如何分片等复杂操作。 自定义输入格式一般分为以下几步：1、继承 FileInputFormat 基类。2、重写 FileInpu
2018-01-08 21:47:20
609
原创 查找相同字母组成的字谜
一、背景一本英文书籍包含成千上万个单词或者短语，现在我们需要在大量的单词中，找出相同字母组成的所有anagrams(字谜)。二、数据部分数据展示三、思路分析1、在 Map 阶段，对每个word（单词）按字母进行排序生成sortedWord，然后输出key/value键值对(sortedWord,word)。2、在 Reduce 阶段，统计出每组相同字母组成的所有anagrams(字谜)。四、代码实现
2018-01-04 00:03:09
1121
原创 mapreduce剖析气象站平均气温
一、气象数据按行并以 ASCII 格式存储，每一行是一条记录。下图展示了一行采样数据。1998 #year03 #month09 #day17 #hour11 #temperature-100 #dew10237 #pressure60
2018-01-03 15:08:22
1980
原创 小文件合并
一、背景在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象，存储在NameNode服务器内存中，通常占用150个字节。 如果有1千万个文件，就需要消耗大约3G的内存空间。如果是10亿个文件，不可想象。所以要选择一种适合的方案来解决本项目的小文件问题。二、介绍本地 F:\dat
2018-01-01 21:43:37
775
原创 使用文件模式，实现多文件上传至HDFS
文件模式:在某个单一操作中处理一系列文件。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了，可以使用通配符(wild card)来匹配多个文件（这个操作也叫做globbing）。 Hadoop提供了两种方法来处理文件组：public FileStatus[] globStatus(Path pathPatt
2018-01-01 18:33:57
819
原创 【配置】Hadoop三节点分布式集群搭建
一、集群规划1.主机规划2.软件规划jdk centos zookeeper hadoop3.用户规划 创建hadoop用户和用户组4.目录规划 所有软件目录： /home/hadoop/app 所有数据和日志目录： /home/hadoop/data二、安装前环境准备(所有节点)1.禁用防火墙[root@pc1 ~]#chkconfig iptables off[root@pc1 ~
2017-12-30 00:07:09
757
原创 【笔记】Mapreduce数据倾斜与优化
一、数据倾斜数据分布：正常的数据分布理论上都是倾斜的，就是我们所说的20-80原理：80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 。1.产生原因： Mapreduce程序在运行的时候，运行了大部分，但是还有部分reduce还在运行，甚至长时间运行，最终导致整个程序运行时间很长才结束。造成这种现象的主要原因是：reduce程序处理的key的
2017-12-28 22:54:30
1082
原创 【配置】deploy.sh、runRemoteCmd.sh脚本工具的配置使用
1.在master节点上创建/home/hadoop/tools目录。[hadoop@master ~]$ mkdir /home/hadoop/tools[hadoop@master ~]$ cd /home/hadoop/tools2.将本地脚本文件上传至/home/hadoop/tools目录下。[hadoop@master tools]$ rz deploy.conf[hadoop@ma
2017-12-21 11:41:07
5160
1
原创 【配置】Hive整合HBase
一、配置1.将HBase相关jar包拷贝到hive的lib目录下2.修改hive-site.xml配置文件①将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。②修改hive.zookeeper.quorum属性。③添加hbase.zookeeper.quorum属性。3.修改hive-env.sh配置文件copy一份模板文件修改4.启动hive 123
2017-12-17 19:19:15
633
原创 【笔记】HBase在资源紧张时降低IO的手段
！注意：1.一切都是瓶颈的时候（内存、CPU、IO），所有手段都作用不大； 2、没有绝对的有效手段，必须针对场景具体分析； 3、大多数情况下，都是磁盘IO存在问题（CPU和内存其实问题都不大，除非配置太差）。优化分类：一、表设计1.适当增加列族个数，一起读写的列放在一个列族原理： family多，获取单个cell数据时就不会去扫描同一个rowkey的所有数据（按列族存储），明显降低IO。适用场
2017-12-13 22:20:33
688
原创 【笔记】Sqoop 脚本开发规范
目录规范1.目录结构体系/home/hadoop（开发用户）/app/test(数据来源、业务)/sh/sqoop示例：/home/hadoop/app/test/sh/sqoophome/hadoop（开发用户）/app/test(数据来源、业务)/sh/param示例：/home/hadoop/app/test/sh/param2.脚本文件命名规范2.1文件名规范：数据库类型数据层日期_表实体命
2017-12-05 22:01:13
1121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人