weixin_30830327-CSDN博客

转载 centos7安装pure-ftpd

1、获取安装包wget https://download.pureftpd.org/pub/pure-ftpd/releases/pure-ftpd-1.0.47.tar.gz2、安装依赖yum -y install openssl openssl-devel gcc gcc-c++3、编译安装pure-ftptar zxf pure-ftpd-1.0.47.tar.gz &&a...

2019-09-10 13:18:00 259

转载 JDBC控制事务

一、概述1. 事务：一个包含多个步骤的业务操作。如果这个业务操作被事务管理，则这多个步骤要么同时成功，要么同时失败。2. 操作： 1. 开启事务 2. 提交事务 3. 回滚事务3. 使用Connection对象来管理事务 * 开启事务：setAutoCommit(boolean autoCommit) ：调用该方法设置参数为false，即开启事务 ...

2019-09-10 00:36:00 189

转载 JDBC入门

一、概述1、JDBC本质概念：Java DataBase Connectivity Java数据库连接，Java语言操作数据库;JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。二、JDBC快速入门1、步骤...

2019-09-10 00:27:00 48

转载 JDBC-select练习&jdbc工具类&数据库登录案例

一、select练习1、说明练习： * 定义一个方法，查询emp表的数据将其封装为对象，然后装载集合，返回。 1. 定义Emp类 2. 定义方法 public List<Emp> findAll(){} 3. 实现方法 select * from emp;2、建表create table ...

2019-09-09 23:50:00 94

转载暑假生活第八周

学习hodoop转载于:https://www.cnblogs.com/gkl20173667/p/11487762.html

2019-09-08 18:32:00 209

转载暑假生活第七周

阅读大数据操作，安装虚拟机搭配环境，调试代码转载于:https://www.cnblogs.com/gkl20173667/p/11487752.html

2019-09-08 18:30:00 164

转载 hive优化

1、map通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小；假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个map数；假设input目录下有3个文件a,b,c,大小分别为10m，20m，130m，那么ha...

2019-09-06 15:49:00 54

转载 SQL进阶-索引设置&sql优化

一、索引设置1、索引的设置原则经常出现在WHERE条件、关联条件中的字段作为索引字段；在满足查询需求的前提下，应尽可能少的创建索引；（对于一个组合索引，可以满足以组合索引左边的一部分字段的查询需求）；经常更新的字段，不适合创建索引；区分度太低的字段，不适合创建索引；不要为永远不会出现在WHERE条件、关联条件中的字段创建索引；2、案例分析比如有下面一张表：查询需求如下：需...

2019-09-05 11:09:00 121

转载 SQL进阶-去重

一、去重的2种基本方法1、DISTINCT##建表：CREATE TABLE teacher(teacher_id VARCHAR(50),teacher_name VARCHAR(50),id_no VARCHAR(50));CREATE INDEX idx_teacher_id ON teacher(teacher_id);插入重复数据：DELETE FROM ...

2019-09-05 09:58:00 66

转载 SQL进阶-隐式类型转换

一、隐式类型转换1、隐式类型转换隐式类型转换：SELECT 1 + '1'; 程序可读性差，且依赖数据库的隐式转换规则，如果数据库升级，则程序可能无法正确执行；有可能会导致索引失效；有可能会导致意想不到的结果；显式类型转换：SELECT 1 + CAST('1' AS SIGNED INT);尽量用显式类型转换；2、数值型 + 字符型SELECT...

2019-09-04 14:17:00 104

转载 SQL进阶-行转列&列转行

一、行转列1、建表CREATE TABLE score( student_id VARCHAR(20) NOT NULL COMMENT '学生编号' DEFAULT '', student_name VARCHAR(50) NOT NULL COMMENT '学生姓名' DEFAULT '', gender VARCHAR(10) NOT NULL COMMEN...

2019-09-04 13:03:00 99

转载 SQL进阶-数据类型转换

一般有这几种转换：一、数值型与字符型的转化###数值型转为字符型： 65 –> '65' select cast(65 as char); 65 –> 'A' select char(65); 65.23 --> '65.23' select cast(65.23 as c...

2019-09-03 14:41:00 116

转载 vue-cli入门 - 搭建项目打包运行+webpack打包

2019-09-03 12:51:00 247

转载 kafka的概念

1.生产者：生产者发送消息到broker，有三种确认方式（request.required.acks）acks = 0: producer不会等待broker（leader）发送ack 。因为发送消息网络超时或broker crash(1.Partition的Leader还没有commit消息 2.Leader与Follower数据不同步)，既有可能丢失也可能会重发。acks = ...

2019-09-02 23:04:00 69

转载 SQL基础-游标&事务

一、游标1、游标简介SQL是一种集合操作语言，但有时候需要对单行操作怎么办呢？也就是有时候会过滤出不止一行的数据，但是想一行行的处理；---游标游标：从集合中依次提取单条记录，直接提取完最后一条；类似于指针的作用；尽管游标能遍历结果中的所有行，但一次只指向一行；游标的适用场景：存储过程函数触发器游标的使...

2019-09-02 16:04:00 101

转载 SQL基础-存储过程&触发器

一、存储过程1、存储过程简介存储过程：一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，然后通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。存储过程的创建：使用关键字CREATE PROCEDURE2、存储过程的创建及调用比如：现需要向学生表中插入新的学生数据。但在插入学生数据的时，需要同时检查老师表里的数据。 ...

2019-09-02 15:14:00 139

转载 SQL基础-约束&索引

一、约束1、约束简介约束（constraint）：表中数据的限制条件。完整性有效性约束的种类：主键约束外键约束唯一约束检查约束非空约束2、主键约束主键约束：唯一标识表中每一行的一列或多个列，可以定义一列或多列为主键；主键列上没有任何两行具有相同值（即重复值），不允许空（NULL）；主健...

2019-09-02 13:37:00 82

转载 SQL基础-更新&删除&视图

一、更新数据1、更新数据###更新全部数据：使用UPDATE关键字。语法如下： UPDATE 表名 SET 字段名=新的值;比如：更新学生表中的所有学生性别为男： UPDATE student SET gender = '男';###更新部分数据：使用UPDATE关键字。语法如下： UPDATE 表名 SET 字段名=...

2019-09-02 11:03:00 286

转载 SQL基础-连接表

一、连接表1、SQL JOIN忘记在哪保存的某位网友的图，先明白SQL JOIN，2、关于笛卡尔积笛卡尔积：两个集合的乘积重新建student表和teacher表：student表：CREATE TABLE `student` ( `student_id` varchar(50) NOT NULL COMMENT '学生编号', `student_name`...

2019-08-30 17:04:00 96

转载 SQL基础-子查询&EXISTS&UNION

一、子查询1、使用子查询作为计算字段子查询：嵌套在其他查询中的查询现在有两个表，student表和teacher表创建teacher表，并插入数据：CREATE TABLE `teacher` ( `teacher_id` varchar(255) DEFAULT NULL COMMENT '老师编号', `teacher_name` varchar(255) DEFA...

2019-08-30 10:56:00 148

转载 yield-Python大牛必须掌握的高端语法

小白：大牛哥，刚才看到有一个函数不使用return返回结果，而是使用yield关键字返回结果,看不太明白，Python中yield关键字的用途是什么,它有什么作用呀？大牛: 要想理解yield的作用，你必须了解什么是生成器(generators)，了解生成器之前(generators)你需要先去了解什么是可迭代对象(iterables)。大牛：小白啊，今天你大牛哥我刚...

2019-08-29 17:34:00 87

转载 SQL基础-汇总统计及GROUP BY

一、汇总统计1、聚集函数COUNT() 计算总数SUM() 求和MAX() 最大值MIN() 最小值AVG() 平均值2、聚集函数使用总共有多少名学生？SELECT COUNT(*) FROM student;所有学生的数学成绩总和？SELECT SUM(score) FROM student;所有学...

2019-08-29 16:24:00 483

转载 SQL基础-创建新的输出字段

一、创建新的输出字段1、建表、插数据###CREATE TABLE `t_stock_trans_dtl` ( `trans_id` varchar(100) NOT NULL COMMENT '交易流水号', `stock_name` varchar(20) NOT NULL DEFAULT '' COMMENT '股票名称', `stock_code` varchar(...

2019-08-29 11:38:00 272

转载 SQL基础-过滤数据

一、过滤数据1、使用WHERE子句过滤数据：关键字WHERESELECT 字段列表 FROM 表名 WHERE 过滤条件;过滤条件一般由要过滤的字段、操作符、限定值三部分组成；如： SELECT student_id,student_name FROM student WHERE gender = '男';2、常用操作符3、过滤单个值#age 不等于10SELEC...

2019-08-29 09:47:00 230

转载 java的多线程:java安全问题产生的原因与JMM的关系

一、多线程产生安全问题1、Java内存模型共享内存模型指的就是Java内存模型(简称JMM)，JMM决定一个线程对共享变量的写入时,能对另一个线程可见。从抽象的角度来看，JMM定义了线程和主内存之间的抽象关系：线程之间的共享变量存储在主内存（main memory）中，每个线程都有一个私有的本地内存（local memory），本地内存中存储了该线程以读/写共享变量的副本...

2019-08-29 00:10:00 143

转载 java的多线程:线程安全问题

什么是线程安全？为什么有线程安全问题？当多个线程同时共享，同一个全局变量或静态变量，做写的操作时，可能会发生数据冲突问题，也就是线程安全问题。但是做读操作是不会发生数据冲突问题。抢火车的例子：一号窗口和二号窗口同时出售火车第九九张,部分火车票会重复出售。结论发现，多个线程共享同一个全局成员变量时，做写的操作可能会发生数据冲突问题。二、线程安全解决办法:...

2019-08-28 23:31:00 54

转载 SQL基础-操纵表及插入、查询

一、操纵表1、表的关键信息2、更新表名更新表名：使用RENAME TABLE关键字。语法如下： RENAME TABLE 旧表名 TO 新表名;比如，生产环境投产前备份teacher表，使用如下语句： RENAME TABLE teacher TO teacher_bak;3、更新字段名更新字段名：使用ALTER TABLE关键字。语法如下： ALTER TA...

2019-08-28 17:05:00 122

转载 SQL基础-建表

一、建表1、创建表的两种方式*客户端工具 *SQL语句2、使用SQL语句创建表表名和字段名不能使用中文；（一般为字母开头，字母、数字、下划线组成的字符串）；CREATE TABLE关键字后跟上表名，字段名在括号中列出且以逗号分隔；最后以分号结尾；不区分大小写，但最好关键字都大写；按一定的规则缩进；每个字段都需要设置数据类型；常用的数据类型有以下几个大类： ...

2019-08-28 13:53:00 928

转载 hive分桶

一、hive分桶概述hive 分桶分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于hive中每一个表、分区都可以进一步进行分桶。由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景：数据抽样（ sampling ）、map-join数据抽样：数据抽样要保证数据的均匀性，而不是一部分极端的数据，分桶表是对列值取哈...

2019-08-27 15:00:00 118

转载 nginx配置url重定向&反代

一、重定向正则表达式匹配:* ~ 为区分大小写匹配* ~* 为不区分大小写匹配* !~和!~*分别为区分大小写不匹配及不区分大小写不匹配文件及目录匹配:* -f和!-f用来判断是否存在文件* -d和!-d用来判断是否存在目录* -e和!-e用来判断是否存在文件或目录* -x和!-x用来判断文件是否可执行flag标记：* last 相当于Apache里的[L]标记，表示...

2019-08-27 11:29:00 296

转载 java的多线程:线程基础

1.线程与进程区别每个正在系统上运行的程序都是一个进程。每个进程包含一到多个线程。线程是一组指令的集合，或者是程序的特殊段，它可以在程序里独立执行。也可以把它理解为代码运行的上下文。所以线程基本上是轻量级的进程，它负责在单个程序里执行多任务。通常由操作系统负责多个线程的调度和执行。使用线程可以把占据时间长的程序中的任务放到后台去处理，程序的运行速度可能加快，在一些等待的任务实现上...

2019-08-27 00:13:00 47

转载 4、spark streaming+kafka

一、Receiver模式1、 receiver模式原理图在SparkStreaming程序运行起来后，Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化，默认级别为MEMORY_AND_DISK_SER_2,这个级别也可以修改。receiver task对接收过来的数据进行存储和备份，这个过程会有节点之间的数据传输。备份完成后去zookeep...

2019-08-23 17:38:00 123

转载 3、kafka工作流程

一、kafka各成员kafka：分布式消息系统，将消息直接存入磁盘，默认保存一周。broker：组成kafka集群的节点，之间没有主从关系，依赖zookeeper来协调，broker负责满息的读写和存储，一个broker可以管理多个partition.producer：消息的生产者，自己决定向哪个partition中去生产消...

2019-08-23 13:59:00 250

转载 2、kafka集群搭建

以三台为例，先安装一台，然后分发；一、准备1、下载http://kafka.apache.orgkafka_2.11-2.0.1.tgz前面的数字2.11是scala的版本，2.0.1是kafka的版本；2、前提前提是已经搭建好了zookeeper集群，这里zookeeper也是三台；二、搭建1、解压包即可tar zxf ...

2019-08-22 16:04:00 58

转载 1、kafka概述

一、关于消息队列消息队列是一种应用间的通信方式，消息就是是指在应用之间传送的数据，它也是进程通信的一种重要的方式。1.消息队列的基本架构producer：消息生产者。broker：消息处理中心。consumer：消息消费者2.消息队列常用场景系统之间的解耦。高并发下的流量消峰（电商抢购活动）。异步通信（串行变并行）。3.消息队列的特点基本上都基于生产者消费者模式。必须...

2019-08-22 14:41:00 66

转载 2、zookeeper原理

一、Zookeeper的角色» 领导者（leader），负责进行投票的发起和决议，更新系统状态» 学习者（learner），包括跟随者（follower）和观察者（observer），follower用于接受客户端请求并想客户端返回结果，在选主过程中参与投票» Observer可以接受客户端连接，将写请求转发给leader，但observer不参加投票过程，只同步leader的状...

2019-08-21 18:05:00 63

转载 1、zookeeper入门

一、什么是ZookeeperZookeeper是Google的Chubby一个开源的实现,是一个开源的，为分布式提供协调服务的Apache项目;它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等;Zookeeper从设计模式角度来理解，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注...

2019-08-21 16:46:00 56

转载 67、性能调优

一、数据接收并行度调优(1)通过网络接收数据时（比如Kafka、Flume），会将数据反序列化，并存储在Spark的内存中。如果数据接收称为系统的瓶颈，那么可以考虑并行化数据接收。每一个输入DStream都会在某个Worker的Executor上启动一个Receiver，该Receiver接收一个数据流。因此可以通过创建多个输入DStream，并且配置它们接收数据源不同的分区数据，...

2019-08-21 14:10:00 63

转载交大校友會高階經理人才培訓班 2009/11/19 演講主題：蒙恬科技- 智慧型人機介面整合專家_蔡義泰，蒙恬科技董事長...

交大校友會高階經理人才培訓班 2009/11/19演講主題：蒙恬科技- 智慧型人機介面整合專家主講人：蔡義泰，蒙恬科技董事長主持人：交大校友會執行長陳俊秀董事長金語摘要：1. 創業時就努力做，做一做一定會遇到問題，遇到問題就去解決就是了。2. 企業關鍵性成功因素為：擁有自行研發的技術、品牌與不斷的創新。最好成立第一年以後就要有第二樣產品推出。...

2019-08-21 13:48:34 100

转载 66、Spark Streaming：数据处理原理剖析与源码分析（block与batch关系透彻解析）

一、数据处理原理剖析每隔我们设置的batch interval 的time，就去找ReceiverTracker，将其中的，从上次划分batch的时间，到目前为止的这个batch interval time间隔内的block封装为一个batch;其次，会将这个batch中的数据，去创建为一个初始的RDD，一个batch内，在这段时间封装了几个block，就代表这个batch对应的RD...

2019-08-21 11:34:00 91

空空如也

空空如也