- 博客(72)
- 收藏
- 关注
RSS订阅
原创 清单
文章目录1. Java2. Linux3. Python4. 数据库5. Hadoop6. 机器学习1. JavamavenJava之IO系统2. LinuxTLCL3. Python4. 数据库MySQL技术内幕-InnoDB存储引擎MySQL技术内幕-SQL编程5. Hadoop6. 机器学习...
2019-06-04 13:07:24
271
原创 深入Kafka
文章目录深入Kafka1. 集群成员关系2. 控制器3. 复制4. 处理请求4.1 生产请求4.2 获取请求4.3 其他请求5. 物理存储5.1 分区分配5.2 文件管理5.3 文件格式5.4 索引5.5 清理5.6 清理的工作原理5.7 被删除的事件5.8 何时会清理主题深入Kafka1. 集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识...
2020-04-20 13:23:50
579
原创 Kafka消费者
文章目录Kafka消费者1. KafkaConsumer概念1.1 消费者和消费者群组1.2 消费者群组和分区再均衡2. 创建Kafka消费者3. 订阅主题4. 轮询5. 消费者的配置6. 提交和偏移量6.1 自动提交6.2 提交当前偏移量6.3 异步提交6.4 同步和异步组合提交6.5 提交特定的偏移量7. 再均衡监听器8. 从特定偏移量出开始处理记录9. 如何退出10. 反序列化器11. 独立...
2020-03-26 16:43:55
750
1
原创 Kafka生产者
文章目录Kafka生产者1. Kafka生产者组件2. 创建Kafka生产者3. 发送消息到Kafka3.1 同步发送消息3.2 异常发送消息4. 生产者的配置5. 序列化器5.1 自定义序列化器5.2 使用Avro序列化5.4 在Kafka里使用Avro6. 分区Kafka生产者1. Kafka生产者组件2. 创建Kafka生产者要往Kafka写入消息，首先要创建一个生产者对象，并设置...
2020-03-23 21:05:54
518
原创 Kafka权威指南
Kafka权威指南1. Kafka生产者Kafka生产者2. Kafka消费者3. 深入Kafka4. 可靠的消息传递5. 构建数据管道6. 跨集群数据镜像7. 管理Kafka8. 监控Kafka9. 流式处理...
2020-03-22 20:25:29
393
原创 LeetCode-链表
给定一个链表，删除链表的倒数第n个节点，并且返回链表的头结点解题思路：用2个距离为n的指针，分别向前移动，直到先移动的指针到达链表的尾部。//scala/** * Definition for singly-linked list. * class ListNode(var _x: Int = 0) { * var next: ListNode = null * var...
2019-12-07 16:57:25
120
原创 在docker里搭建私服nexus
查找nexus镜像docker search nexus下载镜像docker pull sonatype/nexus3启动镜像docker run -d --name nexus3 --restart=always -p 8081:8081 -p 8082:8082 -p 8083:8083 -p 8084:8084 -p 8085:8085 sonatype/nexus...
2019-07-23 14:15:38
135
原创 git的常用命令
最近看了git教程，这里整理一下git的相关命令。git init //将所在文件夹初始化为仓库//仓库中的文件需要经过add和commit才能提交到仓库git add <filename>git commit -m "some information" //-m是注释信息，提交成功的话，会输出some informationgit status //显示仓库当前的状态...
2019-07-20 16:08:00
122
原创 在mac docker上安装gitlab
安装过程装docker这里使用的是菜鸟教程mac docker安装拉取gitlab镜像docker pull gitlab/gitlab-ce#通过下面的命令查看镜像，如果有gitlab说明pull成功docker images运行容器sudo docker run -d \--hostname localhost \--name gitlab \--resta...
2019-07-09 22:10:33
2428
原创 使用命令行编译打包运行自己的MapReduce程序
使用命令行运行mapreduce程序在~/.bashrc 中增加如下几行中添加：export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH执行source ~/.bashrc通过hadoop classpath可以得到Hadoop所需要的全部...
2019-07-09 21:37:57
1045
原创 Hadoop分布式文件系统
文章目录Hadoop分布式文件系统1. HDFS的设计2. HDFS的概念Hadoop分布式文件系统1. HDFS的设计HDFS实现目标：兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型强大的跨平台兼容性HDFS局限：不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意的修改文件2. HDFS的概念数据块每个磁盘都有默认的数据块大...
2019-06-20 22:26:18
686
原创 java远程登录hdfs
有时候，可能需要通过远程操作hdfs，比如在本地操作云服务器上的hdfs。step 1:将云服务上的hadoop环境中的jar下载到本地，一般的路径是：hadoop/share/hadoop.这里我将hadoop安装在了/usr/local，所以完整路径是/usr/local/hadoop/share/hadoopstep 2:将jar包加载到idea(这里使用的idea)具体步骤：右...
2019-06-17 21:44:59
615
原创 第二章 大数据处理框架 Hadoop
文章目录hadoop简介企业应用选择Hadoop版本的参考因素Hadoop项目结构Hadoop安装Hadoop集群基准测试hadoop简介空~hadoop有两大核心HDFSMapReducehadoop特性高可靠性、高效性、高可扩展性企业应用hadoop不同版本Apache Hadoophadoop1.0到2.0的变化选择Hadoop版本的参考因素是否开...
2019-06-12 13:04:18
356
原创 初识Hadoop
文章目录初识Hadoop初识Hadoop大数据是由结构化和非结构化数据组成。非结构化占比90%左右，通常是指图像、音频等。技术支撑大数据的兴起需要的技术支撑：存储计算网络1GB=1024MB，1TB=1024GB，1PB=1024TB大数据的特性当提到大数据的典型特性时，通常是4V：Variety(多样化)Velocity(快速化)Volume(大量化)Va...
2019-06-04 14:14:24
361
原创 python数据科学手册
文章目录python数据科学手册第一章 基础知识第二章 numpy第三章 pandas其他python数据科学手册第一章 基础知识python数据科学手册第一章第二章 numpynumpy第三章 pandaspandas其他数据处理过程对数据进行上采样和下采样将mat文件转换成csv文件...
2019-06-04 13:29:45
925
原创 maven的安装，以及在idea中创建maven项目
去maven官网下载maven压缩包，最好下载bin压缩包，因为可以直接用将maven放到一个文件夹下，然后将对应的bin路径添加到PATH中，通过修改~/.bash_profile文件运行上面的参数文件，source ~/.bash_profile安装maven，运行命令行mvn -v如果这时候报错，说java路径错误，则在source ~/.bash_profile文件中添加expo...
2019-05-31 19:33:30
148
原创 Java I/O系统
文章目录Java I/O系统1. File类2. 输入和输出3. Reader和Writer4. 自我独立的类：RandomAccessFile5. 标准I/O6. 新I/O7. 用GZIP进行简单压缩8. 对象序列化9.XML10. PreferencesJava I/O系统1. File类File既能代表一个特定文件的名称，又能代表一个目录下的一组文件的名称。如果它指的是一个文件集，可以...
2019-05-30 21:35:13
319
原创 游标
文章目录游标游标的使用游标游标的作用就是用于对查询数据库所返回的记录进行遍历游标的使用在MySQL数据库中，游标可以在存储过程和函数(Stored Routine)以及触发器(Trigger)和事件(Event)中使用。游标需要与handler一起使用，并且游标要在handler之前定义。游标有以下三个属性：Asensitive：数据库也可以不复制结果集。Read only：不可更...
2019-05-28 13:44:37
129
原创 聚合和旋转操作
文章目录聚合和旋转操作聚合附加属性聚合连续聚合PivotingUnpivotingCUBE和ROLLUP聚合和旋转操作聚合聚合函数MySQL数据库支持聚合(aggregation)操作，按照分组对同一组内的数据聚合进行统计操作，目前MySQL数据库支持的聚合函数有：聚合函数函数名函数名AVG()STD()BIT_AND()STDDEV_POP()...
2019-05-27 15:55:04
342
原创 联接与集合操作
文章目录联接和集合操作联接查询其他联接分类集合操作联接和集合操作联接查询联接查询是在两张表(或更多表)中进行行匹配的操作，一般称之为水平操作，这是因为对几张表进行联接操作所产生的结果集可以包含这几张表中所有的列，对应于联接的水平操作，一般将集合操作视为垂直操作。MySQL数据库支持如下的联接查询：CROSS JOIN(交叉联接)INNER JOIN(内联接)OUTER JOIN(...
2019-05-26 21:30:54
278
原创 MYSQL数据类型
文章目录数据类型类型属性SQL_MODE设置日期和时间类型数字类型字符类型数据类型类型属性首先介绍两种类型属性： UNSIGNED和ZEROFILLUNSIGNEDUNSIGNED属性就是将数字类型无符化。ZEROFILL如果宽度小于设定的宽度，子自动填充0，需要注意的是，这只是显示效果，在实际存储中还是原来的值。a a int(4) unsigned zerofill;...
2019-05-26 17:17:20
175
原创 MySQL技术内幕--SQL编程
文章目录MySQL技术内幕--SQL编程第1章 SQL编程第2章 数据类型第3章 查询处理第4章 子查询第5章 连接和集合操作第6章 聚合和旋转操作第7章 游标第8章 事务编程第9章 索引第10章 分区MySQL技术内幕–SQL编程第1章 SQL编程第2章 数据类型第3章 查询处理查询处理第4章 子查询子处理第5章 连接和集合操作第6章 聚合和旋转操作第7章 游标第8章 事务...
2019-05-26 16:23:22
380
原创 子查询
文章目录子查询子查询概述子查询子查询概述子查询的优点和限制子查询是指在一个select语句中嵌套另一个select语句。示例：select *from t1 where columns = (select columns from t2);‘’’’’’在这个示例中，select *from t1是外部查询(outer query),select columns from t...
2019-05-25 20:20:15
616
原创 MySQL编程--逻辑查询语言
文章目录查询处理逻辑查询处理物理查询处理查询处理对于查询处理，可将其分为逻辑查询处理和物理查询处理，逻辑查询处理表示执行查询应该产生什么样的结果，而物理查询代表MySQL数据库是如何得到该结果的。两种查询的方法可能完全不同，但是得到的结果必定是相同的。逻辑查询处理逻辑查询的顺序以及步骤序号(8) select (9) distinct <select_list>(1) fr...
2019-05-25 09:46:15
362
原创 第10章 InnoDB存储引擎源代码的编译与调试
文章目录第10章 InnoDB存储引擎源代码的编译与调试第10章 InnoDB存储引擎源代码的编译与调试参考《MySQL技术内幕–InnoDB存储引擎》第10章内容，这里就偷下懒，不做这章的笔记啦，哈哈哈~...
2019-05-21 16:41:14
220
原创 第9章 性能调优
文章目录第9章 性能调优第9章 性能调优性能调优可以从以下几个方面入手：选择合适的CPU内存硬盘合理设置RAID操作系统的选择文件系统基准测试工具(sysbench,mysql-tpcc)...
2019-05-21 16:37:57
114
原创 第8章 备份与恢复
文章目录第8章 备份与恢复8.1 备份与恢复概述第8章 备份与恢复8.1 备份与恢复概述根据备份的方法可以分为：Hot Backup(热备)
2019-05-21 16:31:42
284
原创 第7章 事务
文章目录第7章 事务7.1 事务概述7.2 事务的实现7.3 事务控制语句7.4 隐式提交的SQL语句7.5 对于事务操作的统计7.6 事务的隔离级别7.7 分布式事务7.8 不好的事务习惯第7章 事务事务会把数据库从一种一致状态转换为另一种一致状态。在数据库提交工作时，可以确保其要么所有修改都已经保存了，要么所有修改都不保存。7.1 事务概述InnoDB存储引擎中的事务完全符合AC...
2019-05-14 15:14:34
314
原创 第6章 锁
文章目录第6章 锁6.1 什么是锁6.2 InnoDB存储引擎中的锁6.3 锁的算法6.4 锁问题6.5 阻塞6.6 死锁6.7 锁升级第6章 锁6.1 什么是锁锁是数据库系统区别于文件系统的一个关键特性。锁机制用于管理对共享资源的并发访问。InnoDB存储引擎会在行级别上对表数据上锁。InnoDB存储引擎也会对数据库内部其他多个地方使用锁，从而允许对多个不同资源提供并发访问。例如，操作缓...
2019-05-13 18:26:55
276
原创 第5章 索引与算法
文章目录第5章 索引与算法5.1 InnoDB存储引擎索引概述5.2 二分查找法5.3 平衡二叉树5.4 B+树5.7 B+树索引5.6 B+树索引的使用5.7 哈希算法第5章 索引与算法5.1 InnoDB存储引擎索引概述InnoDB存储引擎支持两种常见的索引，一种是B+树索引，另一种是哈希索引。InnoDB存储引擎支持的哈希索引是自适应的，InnoDB存储引擎会根据表的使用情况自动为...
2019-05-11 19:32:38
384
原创 第4章 表
文章目录第4章 表4.1 InnoDB存储引擎表类型4.2 InnoDB逻辑存储结构4.3 InnoDB物理存储结构4.4 InnoDB行记录格式4.5 InnoDB数据页结构4.6 Named File Formats4.7 约束第4章 表4.1 InnoDB存储引擎表类型在InnoDB存储引擎表中，每张表都有主键，如果在创建表时没有显示地定义主键(primary key)，则InnoDB...
2019-05-09 16:30:17
344
原创 第3章 文件
文章目录第3章 文件3.1 参数文件3.2 日志文件第3章 文件构成MySQL数据库和InnoDB存储引擎表的各种类型文件有:参数文件：告诉MySQL实例启动时在哪里可以找到数据库文件，并且指定某些初始化参数，这些参数定义了某种内存结构的大小等设置。日志文件：用来记录MySQL实例对某种条件做出响应时写入的文件。如错误日志文件、二进制日志文件、满查询日志文件、查询日志文件等。socke...
2019-05-02 19:33:25
203
原创 第1章 MySQL体系结构和存储引擎
文章目录第1章 MySQL体系结构和存储引擎1.1 定义数据库和实例1.2 MySQL体系结构第1章 MySQL体系结构和存储引擎1.1 定义数据库和实例数据库：物理操作系统文件或其他形式文件类型的集合。在MySQL中，数据库文件可以是frm，myi，ibd结尾的文件。当使用NDB引擎时，数据库的文件可能不是操作系统上的文件，而是位于内存之中。数据库实例：由数据库后台进程/线程以及一个...
2019-04-29 13:54:27
170
原创 MySQL技术内幕-InnoDB存储引擎
文章目录1. MySQL体系结构和存储引擎2. InnoDB存储引擎3. 文件4. 表5. 索引与算法6.锁7. 事务8. 备份与恢复9. 性能调优10. InnoDB存储引擎源代码的编译1. MySQL体系结构和存储引擎2. InnoDB存储引擎3. 文件4. 表5. 索引与算法6.锁7. 事务8. 备份与恢复9. 性能调优10. InnoDB存储引擎源代码的编译...
2019-04-27 14:38:09
192
原创 TLCL之第四章(4)
文章目录第四章11. 数组1. 创建一个数组2. 数组赋值3. 访问数组元素4. 关联数组12. 奇珍异宝1. 组命令和子shell2. 进程替换3. 陷阱4. 异步执行5. 命名管道第四章11. 数组1. 创建一个数组数组变量就像其它bash变量一样命名，当被访问的时候，它们会被自动地创建。[me@linuxbox ~]$ a[1]=foo[me@linuxbox ~]$ ec...
2019-04-20 14:33:05
270
原创 TLCL之第四章(3)
文章目录第四章6. 流程控制：while/until循环1. 循环第四章6. 流程控制：while/until循环在这一章中，我们将看一个叫做循环的程序概念，其可用来使程序的某些部分重复。shell 为循环提供了三个复合命令。 本章我们将查看其中的两个命令，随后章节介绍第三个命令。1. 循环while语法结构:while commands; do commands; done...
2019-04-19 20:38:59
277
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人