- 博客(76)
- 收藏
- 关注
RSS订阅原创 mysql从一个表中查询数据插入到另一个表中
插入全部数据insert into table1 select * from table2;插入指定字段值insert into table1(field1) select field1 from table2;（注意，select之后的字段如果大于一个，不能用括号括起来，系统会报错 ：Operand should contain 1 column(s)）插入指定字段值+条件限制ins...
2020-04-08 11:35:55
5972
原创 Data source rejected establishment of connection, message from server: "Too many connections"
Java操作Mysql数据库，运行程序报错Data source rejected establishment of connection, message from server: "Too many connections"处理方法：找到Mysql安装路径下的 my.ini 文件，修改以下内容# max_connections设置最大连接数为10000max_connectio...
2020-04-02 16:40:14
735
原创 Java生成范围内的随机数
import java.util.Random;public class Test { public static void main(String[] args) { // TODO Auto-generated method stub //默认构造方法 Random random = new Random(); //产生一个0-100不包含100的整数 i...
2020-04-02 11:16:45
631
原创 使用Spring初始化器创建SpringBoot项目
项目构建file->new->project，之后点击next点击next勾选依赖，点击next设置项目名和项目路径，点击finish，项目创建完成项目结构pom.xml文件项目运行测试新建控制层，编写控制类（注意，控制类需要位于引导类同级包下，或其子包下）运行引导类，启动项目，浏览器查看...
2020-02-12 11:16:26
517
原创 快速构建SpringBoot项目+项目打包运行
快速构建SpringBoot项目需求：浏览器发送/hello请求，服务器接受请求并处理，响应hello world字符串分析：构建 Spring Boot 项目，事实上建立的就是一个 Maven 项目创建Maven工程点击new->projectArtifactld处设置项目名设置项目位置，点击finish创建完成项目点击file->Settings->Mav...
2020-02-11 18:25:53
437
原创 数据库数据写成文本文件+文本文件数据写到数据库
数据库数据mysql数据库数据写出成文本文件import java.io.BufferedWriter;import java.io.File;import java.io.FileWriter;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import j...
2020-02-11 12:20:00
1756
原创 Scala模式匹配
定义模式匹配是检查某个值（value）是否匹配某一个模式的机制，一个成功的匹配同时会将匹配值解构为其组成部分。它是Java中的switch语句的升级版，同样可以用于替代一系列的 if/else 语句语法一个模式匹配语句包括一个待匹配的值，match关键字，以及至少一个case语句。常量模式匹配import scala.util.Randomval x: Int = Random.ne...
2019-12-17 17:40:59
294
原创 Mysql----关联查询
测试表dept表创建dept表：DROP TABLE IF EXISTS `dept`;CREATE TABLE `dept` (`deptno` int(2) NOT NULL,`dname` varchar(14) DEFAULT NULL,`loc` varchar(13) DEFAULT NULL,PRIMARY KEY (`deptno`)) ENGINE=InnoD...
2019-12-03 12:52:47
569
原创 Mysql----常用SQL语法
什么是SQL结构化查询语言(Structured Query Language)，简称SQL。它是专门用来访问数据库的标准编程语言。它可以用于存储数据，查询数据，更新数据以及管理关系型数据库等操作。同时，数据库脚本文件的扩展名也是sql。可以通过DBMS对数据库进行定义数据、操纵数据、查询数据、数据控制等SQL语言可以分成五个部分，分别为DDL、DML、TCL、DCL、DQL数据定义语言(...
2019-11-29 16:14:56
622
原创 Hadoop----MapReduce求共同好友
原文件说明：人物：好友1、好友2......A: B,C,D,F,E,OB: A,C,E,KC: F,A,D,ID: A,E,F,LE: B,C,D,M,LF: A,B,C,D,E,O,MG: A,C,D,E,FH: A,C,D,E,OI: A,OJ: B,OK: A,C,DL: D,E,FM: E,F,GO: A,H,I,J一、找出所有人两两之间的所有共同好...
2019-11-28 17:19:12
717
原创 SpringMVC项目启动报错：Expected raw type form of org.springframework.web.servlet.handler.AbstractHandlerMet
问题详情SpringMVC项目启动报错：Expected raw type form of org.springframework.web.servlet.handler.AbstractHandlerMethodMapping$MappingRegistry问题解决将pom文件中，下列版本更改为1.8.9，问题解决参考http://www.manongjc.com/articl...
2019-11-26 17:21:12
937
原创 冒泡排序+快速排序+选择排序（图解）
冒泡排序原理假设有10个数，第一轮循环，第一个数和第二个数比较，如果第一个数大，第一个数和第二个数交换位置，否则不动；接着第二个数和第三个数比较，如果第二个数大，第二个数和第三个数交换位置，否则不动……第九个数和第十个数比较，如果第九个数大，第九个数和第十个数交换位置，否则不动。第一轮循环结束，最大的数挪到了第十个数的位置，比较进行了9次。 （注意：第一轮循环结束后，第十个数的位置已经固定，它...
2019-11-05 16:41:26
2500
2
原创 navicat连接oracle报错：listener does not currently know of service requested in connect descriptor
错误说明使用navicat连接oracle数据库时候报错：错误处理在oracle的安装目录下找到tnsnames.ora编辑该文件重新开始“新建连接”点击“连接测试”...
2019-10-31 14:08:06
1918
原创 Hadoop----QJM的高可用性
问题：集群的Namenode存在单点故障解决方式：（1）使用QJM（Quorum Journal Manager）的HDFS高可用性（2）使用NFS的高可用性影响可用性的两个主要方面（1）计划外事件（例如计算机崩溃)（2）计划内事件（如NameNode计算机上的软件或硬件升级）将导致群集停机时间段。高可用的简介：（1）只有两台独立的计算机配置为NameNode，其中一个NameN...
2019-10-25 09:12:04
711
原创 二叉树+二叉查找树+红黑树
二叉树在计算机科学中，二叉树是每个结点最多有两个子树的树结构。通常子树被称作“左子树”和“右子树”。二叉树常被用于实现二叉查找树和二叉堆。满二叉树：一个二叉树，除最后一层无任何子节点外，如果每一个层的结点数都达到最大值（2），则这个二叉树就是满二叉树。也就是说，如果一个二叉树的层数为K，且结点总数是(2^k) -1 ，则它就是满二叉树。完全二叉树：在一棵二叉树中，除最后一层外，若其余层都...
2019-10-17 17:10:43
397
原创 SpringBoot整合MyBatis实现数据增删改查
项目结构pom.xml <!--freemarker支持--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-freemarker</artifactId> </...
2019-10-16 17:21:11
683
原创 有1000个一模一样的瓶子，其中有999瓶是普通的水，有1瓶是毒药。任何喝下毒药的生物都会在一星期之后死亡。现在，你只有10只小白鼠和一星期的时间，如何检验出那个瓶子里有毒药？
问题有1000个一模一样的瓶子，其中有999瓶是普通的水，有1瓶是毒药。任何喝下毒药的生物都会在一星期之后死亡。现在，你只有10只小白鼠和一星期的时间，如何检验出那个瓶子里有毒药？(1000瓶水，1瓶毒药，1星期死亡，10只老鼠)问题分析主要信息：一共1000个瓶子，10只老鼠。着手点： 2的10次方=1024把瓶子从 0 到 999 依次编号，然后全部转换为 10 位二进制数。让第一只...
2019-10-15 11:34:25
6203
原创 Flume介绍+安装+案例
定义Flume是一个分布式，可扩展，可靠，高可用的服务。用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。其设计宗旨是向Hadoop批量导入基于事件的海量数据发展Flume原始版本为Flume-OG，经过对整体架构的重新设计，已改名为Flume-NGFlume发展到现在已经不仅限于日志采集，...
2019-09-17 11:39:28
459
原创 Flume+Kafka+SparkStreaming整合
思路分析：flume监控创建文件流，去读取文件(1)scala版本：import java.io.PrintWriterimport scala.io.Sourceobject cp { def main(args: Array[String]): Unit = { val source = Source.fromFile(args(0).toString,"UTF-...
2019-09-01 22:49:31
989
1
原创 Kafka----API操作和Flume+Kafka整合
操作思路开启zkserver -> 开启broker -> 创建topic -> 开启producer往topic发送消息 -> 开启consumer从topic中获取消息单节点–单Broker集群开启zookeeper： zookeeper-server-start.sh /home/wyc/apps/kafka/config/zookeeper.proper...
2019-09-01 22:49:19
408
原创 Python爬虫----百度贴吧
URL分析百度贴吧网页地址：第1页：https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0第2页：https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50第3页：https://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100根据ur...
2019-08-30 23:10:05
598
原创 Python连接数据库
conn表示连接数据库，对数据的操作需要通过cursor来实现。cursor用来执行命令的方法:callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数executemany(...
2019-08-30 23:09:38
726
原创 Hbase体系结构+读写流程+简单调优+异常数据恢复
Hbase简介分布式的、面向列，可以运行在HDFS上的数据库适合存储访问超大规模的数据集不是关系型数据库，不支持SQL源于google的bigtable论文Hbase，不支持各种数据类型，只有字符串类型（底层都是：字节数组）概念介绍RowKey：表中每条记录的主键；Column Family：列族，将表进行横向切割；Column：属于某一个列族，可动态添加列；Versio...
2019-08-29 23:42:36
422
原创 Spark----Cluster模式（standalone和Spark on Yarn）的安装配置
Cluster模式standalone，Yarn，Messos（国内很少用）说明如果现有的集群框架中存在MR的相关应用，同时相关的MR无法转换为Spark应用的，集群选型为Spark On Yarn；如果现有的集群框架中只有Spark应用，那么建议采用spark Standalone模式；spark可以运行在不同的计算引擎上，所以集群模式安装分不同种情况：说明：spark的Stand...
2019-07-26 00:11:30
729
原创 Spark----Local模式的安装配置
版本选型spark2.1.2 ， 依赖scala2.11.8安装部署下载spark-2.1.2-bin-hadoop2.7.tgz解压安装：进入需要安装的目录 cd /home/wyc/apps 通过共享文件夹，将安装包拷贝进入虚拟机 cp /mnt/hgfs/sharefile/apache-spark/spark-2.1.2-bin-hadoop2.7.t...
2019-07-25 22:47:26
834
原创 Hive案例----用户画像
原始数据如下：用户id 下单时间 修改日期 地址 手机号11723 1249488000 20160219 阳光大道101号8号楼158 138748364717955 1259488367 20160219 阳光大道101号8号楼158 138748364711348 1459488568 20160219 阳光大道101号8号楼158 138...
2019-07-20 22:10:20
2457
5
原创 Hbase的安装----完全分布模式（基于伪分布式模式）
配置完成HA 以及Hbase伪分布式配置hbase-site.xml命令： vim $HBASE_HOME/conf/hbase-site.xml 参数： <property> <name>hbase.zookeeper.quorum</name> <value>hslave1,hslave2,hsla...
2019-07-08 22:23:47
363
原创 Hbase的安装----伪分布模式（基于HA 上的独立模式）
配置完成HA 以及 Hbase独立模式配置hbase-site.xml(需要删除或注释掉独立模式下的配置信息) a. 属性hbase.rootdir用于指定hbase产生的数据的存储位置 <property> <name>hbase.rootdir</name> <value>hdfs:/...
2019-07-08 20:55:21
322
原创 集群的高可用性----自动故障转移
自动容灾当状态为Active的Namenode主机发生故障时，HDFS进行自动故障转移，让状态为Standby的Namenode主机转成状态为Active的Namenode进行工作。
2019-07-07 22:04:47
1772
原创 Hbase的安装----独立模式
安装准备条件需要安装jdk1.7+下载安装包 hbase-1.3.1-bin.tar.gz将安装包hbase-1.3.1-bin.tar.gz上传到~/apps下解压，并创建软连接，删除压缩包 解压安装包 ：tar -zxvf hbase-1.3.1-bin.tar.gz 创建软链接： ln -s hbase-1.3.1 hbase 删除安装包： rm hbase-1.3.1-...
2019-06-16 22:45:30
606
2
原创 hadoop----mapreduce的案例（六）（实现定制的Writable集合）
案例六二次排序：就是先按照第一个字段排序，如果第一个字段相同，再按照第二个字段排序账号(Account) 金额(price)hadoop@apache 200hive@apache 550yarn@apache 580hive@apache 159hadoop@apache ...
2019-06-15 00:55:24
483
原创 hadoop----mapreduce的案例（五）（自定义类实现WritableComparable接口）
案例五统计手机号的 总上行流量 总下行流量 总流量 手机号 上行流量 下行流量 13726230501 200 1100 13396230502 300 1200 13396230502 320 500 13396230502 100 3200 13897230503 400 1...
2019-06-14 20:06:08
854
原创 hadoop----mapreduce的案例（四）（利用shuffle进行排序）
案例四使用MapReduce程序读取三个文件中的数据，进行排序(利用shuffle阶段的排序)注意：shuffle阶段的排序是针对key进行排序的map函数public class MyMapper extends Mapper<LongWritable, Text, LongWritable, LongWritable>{ @Override protected v...
2019-06-13 01:14:53
570
原创 hadoop----mapreduce的案例（三）（自定义InputFormat）
案例三将奇数行记录转成key，偶数行转成value从而进行输出MyRecordReaderpublic class MyRecordReader extends RecordReader<Text, Text>{ private long start; private long end; private LineReader in; private FSDataInpu...
2019-06-12 22:50:32
516
原创 hadoop----mapreduce的案例（二）（自定义InputFormat）
案例二现有一个文件，需要统计奇偶行的和，即：统计 1，3，5…的和与2、4、6…行的和分析：k1是行号，v1是行记录<k1,v1>----map----<k2,v2>----reduce----<k3,v3>1 12 key1,[v,v,v,…] 奇数：num2 13 key2,[v,v,...
2019-06-12 00:51:37
428
原创 hadoop----mapreduce的案例（一）（找最高分，平均分）
案例一现有三个文件，分别放置五个学生三门学科成绩如下图所示，需要通过mapreduce程序，找出每一个学生的最高分和平均分最高分mappublic class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ @Override protected void map(LongWritabl...
2019-06-11 00:53:46
3240
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人