- 博客(30)
- 收藏
- 关注
RSS订阅原创 学习笔记(01):软件设计是怎样炼成的？-架构设计的第一层拆解
软件设计视频培训教程，该课程告诉大家，软件设计并不是概要设计与详细设计这么简单，更加不是纸上谈兵的事情。课程全程活用UML（统一建模语言或标准建模语言），为你分享架构设计、数据库设计、用户体验设计和详细设计的实战技巧，并附上实战案例，软件设计文档撰写、工具使用。让你学会如何分析需求，如何逐步做出“漂亮”的软件设计！...
2020-02-07 13:58:09
255
原创 从JMM到CAID再到分布式事务-1
为什么要讲这个缘起都来自于并发,粒度再变,解决的核心却很雷同.两个主要关键点资源共享执行调度多线程与JMM开始说起多线程是如何操作共享内存的读:线程得到CPU调度,线程从共享Heap区的实例变量读入线程独有的工作内存改:线程处理工作内存中的值写:线程将工作内存的值写回共享Heap区的实例变量中存在什么样的问题呢?首先:我们明白从执行调度的角度来说,线程何时被调度是无...
2018-10-10 23:09:34
709
原创 Linux I/O彻底解惑
直接上图0-1.用户Call App0-2.Cpu初始化App1-1.用户线程Call内核线程1-2.用户线程Wait for 内核线程返回----------Context Switching No1-----------2-1.内核线程Call DMA2-2.内核线程Wait for data----------Context Switching No2-----------...
2018-09-29 00:58:39
145
原创 Redis基础串讲
Redis是什么Remote Dictonary Service,直译为远程字典服务，是一个构建与内存的高速的KV数据库Redis能干什么存储热点数据的缓存数据库解决分布式资源冲突的分布式锁解决异步消费的消息队列Redis为什么那么快 1. 构建于内存，KV数据结构类似于hashmap，查询优势明显。 2. KV数据结构中的V有五种常用数据结构，这些数据结构简单，也优化了底层算...
2018-09-28 00:28:43
138
原创 锁锁锁-多线程锁-多进程锁
锁是什么锁在现实生活意义在于通过加锁的方式达到隐私保护或者独占的意义。锁在程序世界里，加锁是方法，目的在于①独占②同步。多线程锁–锁的源起1.为了尽可能压榨CPU资源，神奇的码农们发明了轻量级进程LWP，即线程，线程越多抢占CPU机会越大。2.但同时也带来了隐患，线程上下文切换（保护当前线程案发现场，调度新线程）导致的效率低下，还得考虑线程之间的通信，及与之带来的线程的同步问题。3...
2018-09-27 23:44:49
693
原创 浅谈数据结构和算法
数据结构和算法是什么数据结构：数据之间的结构关系算法：对数据的操作数据结构+算法=程序设计好的数据结构+好的算法=好的程序设计数据结构之拆解数据结构之逻辑结构-->逻辑上组织关系：线性，树形，图形，集合数据结构之物理结构-->物理上存储结构：顺序存储，链式存储ps：物理上的存储指的是在内存的存储结构，磁盘的数据组织一般由文件结构来描述算法之拆解算法...
2018-09-12 00:40:11
161
原创 JVM-类加载
Java的生命周期如下图Java的生命周期，大致可分为 1. JAVA文件----Via JAVAC----------------->Class文件 2. Class文件---Via ClassLoder------------>JMM 3.1. JMM------Via JavaInterpreter------->执行 3.2. JMM------Via Jit...
2018-09-11 00:35:08
130
原创 yarn的运行流程
client开始活动 1.1.client在客户端提交jobjob开始活动 2.1. 从RM获取AppId 2.2. 拷贝job资源到hdfs 2.3. 正式向RM提交执行jobRM开始活动 3.1. RM唤起NMNM开始活动 4.1. NM唤起AppMasterAppMaster开始活动 5.1. AppMaster初始化job 5.2. AppMaster获取分片信...
2018-09-04 08:43:30
270
原创 spark简明扼要之RDD理解
RDD是什么A Resilient Distributed Dataset,即弹性分布式数据集是Spark中最基本的数据抽象，说它弹性，是因为这个数据集是不可变的， 能够手动或自动进行内存和磁盘数据存储的切换 能够基于Lineage的高效容错说它分布式，是因为它的数据是分区存放在各个节点之上， 并可...
2018-09-03 23:34:02
160
原创 Spark的经典套路
经典套路是啥 1. 得到DataFrame或Dataset Dataset<String> ds = … 2. 注册成临时表 ds.createOrReplaceTempView("xxx") 3. SQL计算获取结果 spark.sql ("SELECT …")如何得到ds 1. 程序入口： SparkSession spark...
2018-08-29 00:12:47
244
原创 Hive之一统天下
Hive是什么The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already i...
2018-08-27 23:57:44
144
原创 JVM--看图说话，一篇足够
JVM是什么 JVM：Java Vitrual machine一张图了解JDK,JRE,JVM,JIT那么具体差异到底差哪里了呢，再来两张图1.空间上的差异1.时间上的差异JAVA程序的生命周期，再来一张图 1. 编写JAVA程序 2. 编译JAVA程序到字节码文件 3. 字节码文件送入类加载器 3.1. loading： ...
2018-08-23 00:31:35
236
原创 Linux命令，一看就明白，再看更明白
ssh 1. ssh是什么：利用Secure Shell进行远程主机连接并执行命令的command 2. 命令规则：ssh [option] host-name [command] 3. 例子1:ssh aaa.bbb.ccc.ddd #用主机ip地址登陆 4. 例子2:ssh bigdata #用主机名登陆，主机名是在/etc/hosts已记录的 5. 例子3:ssh bigdata...
2018-08-20 08:39:21
689
原创 kafka+spark+redis案例
前提这个案例是基于笔者博文https://blog.csdn.net/weixin_42509545/article/details/81750622的一个升级版，故kafka+spark部分不再赘述，这个案例中只更新processByShop这一个方法spark+redis案例 1. 书写redis链接池： public class RedisApi { priva...
2018-08-19 17:47:53
478
原创 redis入门
redis是什么REmote DIctionary ServerRedis是一款开源的、高性能的键-值存储（key-value store）1.数据全部在内存中，可用作缓存系统；2.数据可以持久化到磁盘上，可用作高可用存储系统安装 1. 获得稳定版安装包：wget http://download.redis.io/releases/redis-stable.tar....
2018-08-19 14:10:38
123
原创 Spark核心概念与案例拆解
## Spark是什么 ##Spark是一个无所不能的分布式计算框架官网：http://spark.apache.org/Spark核心概念RDD是分布式数据集合的抽象（结构上看是个行结构）DataFrames and Datasets是对RDD的结构化抽象（结构上看是个二维表）DStreams是对时间片的RDD集合的抽象（结构上看是个空间上的行结构）Struct...
2018-08-16 23:23:39
227
原创 高并发之步步为营推理串联
什么是高并发为什么要高并发高并发-多线程-传统IO阻塞：在server.accept()，inputStream.read(bytes)阻塞所以，得使用线程池来保证多线程的使用 线程池使用案例#服务端代码public class OioServer { public static void main(String[] args) throws Exc...
2018-08-15 00:52:06
271
1
原创 Kafka
Kafka是什么分布式的发布-订阅消息系统Kafka存在的意义语言无关性：解除子系统耦合异步处理：削峰填谷Kafka架构 架构1 架构2 Kafka组件说明Topic：如果将Kafka看作数据库，那么Topic就是一个表。 是一个逻辑上概念，对应的物理概念是Partition，就是就是一个目录，目录下面是存储data的segme...
2018-08-14 21:43:23
810
原创 tcp三次握手
TCP是什么Transmission Control Protocol 传输控制协议名词解释syn：同步请求ack：应答为什么握手，握手的目的是什么为了建立连接为什么是三次握手，三次握手都握了些啥第一次握手：客户端发出syn，服务端收到syn，服务端觉得自己（服务端）收信能力和客户端发信能力没有问题第二次握手：服务端发syn+ack，客户端收到syn...
2018-08-14 20:34:11
106
原创 分析型数据库产品
参照：https://help.aliyun.com/document_detail/26373.html?spm=a2c4g.11174283.6.539.B287zr
2018-08-14 00:22:04
1002
原创 大数据生态系软件的启动与停止
Hadoop-hdfs：分布式存储start-dfs.sh #启动hdfsstop-dfs.sh #停止hdfsHadoop-yarn：分布式资源（cpu，内存）管理start-yarn.sh #启动yarnstop-yarn.sh #停止yarnmr-jobhistory-daemon.sh start historyserver #启动历史服务器mr-job...
2018-08-14 00:17:18
195
原创 Redis-cli
Redis是什么内存中的数据结KV构存储系统，常用作于高速缓存。5种Redis数据结构的直观感受对key的操作#模糊查询127.0.0.1:6379> keys *1) "ztan"2) "ztan_key"3) "website"4) "app::users::click"5) "redis-test"6) "testkey"7) &
2018-08-12 23:04:03
231
原创 mysql存储过程
存储过程是啥英文写法为Stored Procedure，通俗的来讲就是一组sql语句。细分来看，1.何为存储？实际大家执行sql语句的时候，是需要sql引擎进行编译优化然后再执行得到结果的，而存储过程是预先编译的，故称之为存储。2.何为过程？现实生活中，指做了一些列事情最终得到了结果，过程就是那一系列的努力，这里边的存储过程也是同样，并不是一句sql，而是一组sql最简单的存储过...
2018-08-12 21:41:02
210
原创 maven的阿里镜像
在maven根目录下的conf文件夹中的setting.xml文件里的中增加以下内容<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/publ...
2018-08-12 20:58:29
142
原创 基于MAC-VMWARE配置静态IP
计划#获取可使用的IP段落cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf | grep range结果：range 172.16.160.128 172.16.160.254;#获取子网掩码cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf ...
2018-08-10 22:45:53
514
原创 hdfs入门
hdfs –help[bigdata@bigdata ~]$ hadoop --helpUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs ...
2018-08-10 21:33:51
138
原创 sqoop入门
安装tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gzprofile配置vi ~/.bash_profile export SQOOP_HOME=/home/zkpk/sqoop-1.99.7-bin-hadoop200export CATALINA_BASE=$SQOOP_HOME/serverexport LOGDIR=$SQOOP_HOME...
2018-08-10 00:35:29
183
原创 mysql入门
安装su rootyum install mysql-serveryum install mysqlyum install mysql-devel启动sql服务器/etc/init.d/mysqld restart如果是在非root环境用下面的命令即可sudo service mysqld start;用户登陆mysql -u用户名 -p密码；mysq...
2018-08-09 23:14:19
108
原创 Flume入门
Fulme是什么官网地址http://flume.apache.org/是什么分布式非结构化数据（日志）收集系统，提供收集、移动、聚合大量日志数据的服务Flume架构Flume NG核心概念AgentAgent之Source负责接受Event包含Event驱动和轮询2种类型常见类型的Source 与系统集成的Source: S...
2018-08-08 21:32:10
131
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人