自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(30)
  • 收藏
  • 关注

原创 学习笔记(01):软件设计是怎样炼成的?-架构设计的第一层拆解

软件设计视频培训教程,该课程告诉大家,软件设计并不是概要设计与详细设计这么简单,更加不是纸上谈兵的事情。课程全程活用UML(统一建模语言或标准建模语言),为你分享架构设计、数据库设计、用户体验设计和详细设计的实战技巧,并附上实战案例,软件设计文档撰写、工具使用。让你学会如何分析需求,如何逐步做出“漂亮”的软件设计!...

2020-02-07 13:58:09 255

原创 从JMM到CAID再到分布式事务-1

为什么要讲这个缘起都来自于并发,粒度再变,解决的核心却很雷同.两个主要关键点资源共享执行调度多线程与JMM开始说起多线程是如何操作共享内存的读:线程得到CPU调度,线程从共享Heap区的实例变量读入线程独有的工作内存改:线程处理工作内存中的值写:线程将工作内存的值写回共享Heap区的实例变量中存在什么样的问题呢?首先:我们明白从执行调度的角度来说,线程何时被调度是无...

2018-10-10 23:09:34 709

原创 手绘 SpringCloud微服务 VS DubboRPC服务

微服务之Http请求FeignPostMan手动扣一个Http发送请求客户端

2018-10-08 23:19:22 147

原创 Linux I/O彻底解惑

直接上图0-1.用户Call App0-2.Cpu初始化App1-1.用户线程Call内核线程1-2.用户线程Wait for 内核线程返回----------Context Switching No1-----------2-1.内核线程Call DMA2-2.内核线程Wait for data----------Context Switching No2-----------...

2018-09-29 00:58:39 145

原创 Redis基础串讲

Redis是什么Remote Dictonary Service,直译为远程字典服务,是一个构建与内存的高速的KV数据库Redis能干什么存储热点数据的缓存数据库解决分布式资源冲突的分布式锁解决异步消费的消息队列Redis为什么那么快 1. 构建于内存,KV数据结构类似于hashmap,查询优势明显。 2. KV数据结构中的V有五种常用数据结构,这些数据结构简单,也优化了底层算...

2018-09-28 00:28:43 138

原创 锁锁锁-多线程锁-多进程锁

锁是什么锁在现实生活意义在于通过加锁的方式达到隐私保护或者独占的意义。锁在程序世界里,加锁是方法,目的在于①独占②同步。多线程锁–锁的源起1.为了尽可能压榨CPU资源,神奇的码农们发明了轻量级进程LWP,即线程,线程越多抢占CPU机会越大。2.但同时也带来了隐患,线程上下文切换(保护当前线程案发现场,调度新线程)导致的效率低下,还得考虑线程之间的通信,及与之带来的线程的同步问题。3...

2018-09-27 23:44:49 693

原创 浅谈数据结构和算法

数据结构和算法是什么数据结构:数据之间的结构关系算法:对数据的操作数据结构+算法=程序设计好的数据结构+好的算法=好的程序设计数据结构之拆解数据结构之逻辑结构-->逻辑上组织关系:线性,树形,图形,集合数据结构之物理结构-->物理上存储结构:顺序存储,链式存储ps:物理上的存储指的是在内存的存储结构,磁盘的数据组织一般由文件结构来描述算法之拆解算法...

2018-09-12 00:40:11 161

原创 JVM-类加载

Java的生命周期如下图Java的生命周期,大致可分为 1. JAVA文件----Via JAVAC----------------->Class文件 2. Class文件---Via ClassLoder------------>JMM 3.1. JMM------Via JavaInterpreter------->执行 3.2. JMM------Via Jit...

2018-09-11 00:35:08 130

原创 yarn的运行流程

client开始活动 1.1.client在客户端提交jobjob开始活动 2.1. 从RM获取AppId 2.2. 拷贝job资源到hdfs 2.3. 正式向RM提交执行jobRM开始活动 3.1. RM唤起NMNM开始活动 4.1. NM唤起AppMasterAppMaster开始活动 5.1. AppMaster初始化job 5.2. AppMaster获取分片信...

2018-09-04 08:43:30 270

原创 spark简明扼要之RDD理解

RDD是什么A Resilient Distributed Dataset,即弹性分布式数据集是Spark中最基本的数据抽象,说它弹性,是因为这个数据集是不可变的, 能够手动或自动进行内存和磁盘数据存储的切换 能够基于Lineage的高效容错说它分布式,是因为它的数据是分区存放在各个节点之上, 并可...

2018-09-03 23:34:02 160

原创 Spark的经典套路

经典套路是啥 1. 得到DataFrame或Dataset Dataset<String> ds = … 2. 注册成临时表 ds.createOrReplaceTempView("xxx") 3. SQL计算获取结果 spark.sql ("SELECT …")如何得到ds 1. 程序入口: SparkSession spark...

2018-08-29 00:12:47 244

原创 Hive之一统天下

Hive是什么The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already i...

2018-08-27 23:57:44 144

原创 JVM--看图说话,一篇足够

JVM是什么 JVM:Java Vitrual machine一张图了解JDK,JRE,JVM,JIT那么具体差异到底差哪里了呢,再来两张图1.空间上的差异1.时间上的差异JAVA程序的生命周期,再来一张图 1. 编写JAVA程序 2. 编译JAVA程序到字节码文件 3. 字节码文件送入类加载器 3.1. loading: ...

2018-08-23 00:31:35 236

原创 Linux命令,一看就明白,再看更明白

ssh 1. ssh是什么:利用Secure Shell进行远程主机连接并执行命令的command 2. 命令规则:ssh [option] host-name [command] 3. 例子1:ssh aaa.bbb.ccc.ddd #用主机ip地址登陆 4. 例子2:ssh bigdata #用主机名登陆,主机名是在/etc/hosts已记录的 5. 例子3:ssh bigdata...

2018-08-20 08:39:21 689

原创 kafka+spark+redis案例

前提这个案例是基于笔者博文https://blog.csdn.net/weixin_42509545/article/details/81750622的一个升级版,故kafka+spark部分不再赘述,这个案例中只更新processByShop这一个方法spark+redis案例 1. 书写redis链接池: public class RedisApi { priva...

2018-08-19 17:47:53 478

原创 redis入门

redis是什么REmote DIctionary ServerRedis是一款开源的、高性能的键-值存储(key-value store)1.数据全部在内存中,可用作缓存系统;2.数据可以持久化到磁盘上,可用作高可用存储系统安装 1. 获得稳定版安装包:wget http://download.redis.io/releases/redis-stable.tar....

2018-08-19 14:10:38 123

原创 Spark核心概念与案例拆解

## Spark是什么 ##Spark是一个无所不能的分布式计算框架官网:http://spark.apache.org/Spark核心概念RDD是分布式数据集合的抽象(结构上看是个行结构)DataFrames and Datasets是对RDD的结构化抽象(结构上看是个二维表)DStreams是对时间片的RDD集合的抽象(结构上看是个空间上的行结构)Struct...

2018-08-16 23:23:39 227

原创 高并发之步步为营推理串联

什么是高并发为什么要高并发高并发-多线程-传统IO阻塞:在server.accept(),inputStream.read(bytes)阻塞所以,得使用线程池来保证多线程的使用 线程池使用案例#服务端代码public class OioServer { public static void main(String[] args) throws Exc...

2018-08-15 00:52:06 271 1

原创 Kafka

Kafka是什么分布式的发布-订阅消息系统Kafka存在的意义语言无关性:解除子系统耦合异步处理:削峰填谷Kafka架构 架构1 架构2 Kafka组件说明Topic:如果将Kafka看作数据库,那么Topic就是一个表。 是一个逻辑上概念,对应的物理概念是Partition,就是就是一个目录,目录下面是存储data的segme...

2018-08-14 21:43:23 810

原创 tcp三次握手

TCP是什么Transmission Control Protocol 传输控制协议名词解释syn:同步请求ack:应答为什么握手,握手的目的是什么为了建立连接为什么是三次握手,三次握手都握了些啥第一次握手:客户端发出syn,服务端收到syn,服务端觉得自己(服务端)收信能力和客户端发信能力没有问题第二次握手:服务端发syn+ack,客户端收到syn...

2018-08-14 20:34:11 106

原创 分析型数据库产品

参照:https://help.aliyun.com/document_detail/26373.html?spm=a2c4g.11174283.6.539.B287zr

2018-08-14 00:22:04 1002

原创 大数据生态系软件的启动与停止

Hadoop-hdfs:分布式存储start-dfs.sh #启动hdfsstop-dfs.sh #停止hdfsHadoop-yarn:分布式资源(cpu,内存)管理start-yarn.sh #启动yarnstop-yarn.sh #停止yarnmr-jobhistory-daemon.sh start historyserver #启动历史服务器mr-job...

2018-08-14 00:17:18 195

原创 Redis-cli

Redis是什么内存中的数据结KV构存储系统,常用作于高速缓存。5种Redis数据结构的直观感受对key的操作#模糊查询127.0.0.1:6379> keys *1) "ztan"2) "ztan_key"3) "website"4) "app::users::click"5) "redis-test"6) "testkey"7) &

2018-08-12 23:04:03 231

原创 mysql存储过程

存储过程是啥英文写法为Stored Procedure,通俗的来讲就是一组sql语句。细分来看,1.何为存储?实际大家执行sql语句的时候,是需要sql引擎进行编译优化然后再执行得到结果的,而存储过程是预先编译的,故称之为存储。2.何为过程?现实生活中,指做了一些列事情最终得到了结果,过程就是那一系列的努力,这里边的存储过程也是同样,并不是一句sql,而是一组sql最简单的存储过...

2018-08-12 21:41:02 210

原创 maven的阿里镜像

在maven根目录下的conf文件夹中的setting.xml文件里的中增加以下内容<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/publ...

2018-08-12 20:58:29 142

原创 基于MAC-VMWARE配置静态IP

计划#获取可使用的IP段落cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf | grep range结果:range 172.16.160.128 172.16.160.254;#获取子网掩码cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf ...

2018-08-10 22:45:53 514

原创 hdfs入门

hdfs –help[bigdata@bigdata ~]$ hadoop --helpUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs ...

2018-08-10 21:33:51 138

原创 sqoop入门

安装tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gzprofile配置vi ~/.bash_profile export SQOOP_HOME=/home/zkpk/sqoop-1.99.7-bin-hadoop200export CATALINA_BASE=$SQOOP_HOME/serverexport LOGDIR=$SQOOP_HOME...

2018-08-10 00:35:29 183

原创 mysql入门

安装su rootyum install mysql-serveryum install mysqlyum install mysql-devel启动sql服务器/etc/init.d/mysqld restart如果是在非root环境用下面的命令即可sudo service mysqld start;用户登陆mysql -u用户名 -p密码;mysq...

2018-08-09 23:14:19 108

原创 Flume入门

Fulme是什么官网地址http://flume.apache.org/是什么分布式非结构化数据(日志)收集系统,提供收集、移动、聚合大量日志数据的服务Flume架构Flume NG核心概念AgentAgent之Source负责接受Event包含Event驱动和轮询2种类型常见类型的Source 与系统集成的Source: S...

2018-08-08 21:32:10 131

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除