![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
TenSleep
这个作者很懒,什么都没留下…
展开
-
mysql入门
安装su rootyum install mysql-serveryum install mysqlyum install mysql-devel启动sql服务器/etc/init.d/mysqld restart如果是在非root环境用下面的命令即可sudo service mysqld start;用户登陆mysql -u用户名 -p密码;mysq...原创 2018-08-09 23:14:19 · 106 阅读 · 0 评论 -
JVM--看图说话,一篇足够
JVM是什么 JVM:Java Vitrual machine一张图了解JDK,JRE,JVM,JIT那么具体差异到底差哪里了呢,再来两张图1.空间上的差异1.时间上的差异JAVA程序的生命周期,再来一张图 1. 编写JAVA程序 2. 编译JAVA程序到字节码文件 3. 字节码文件送入类加载器 3.1. loading: ...原创 2018-08-23 00:31:35 · 236 阅读 · 0 评论 -
Linux命令,一看就明白,再看更明白
ssh 1. ssh是什么:利用Secure Shell进行远程主机连接并执行命令的command 2. 命令规则:ssh [option] host-name [command] 3. 例子1:ssh aaa.bbb.ccc.ddd #用主机ip地址登陆 4. 例子2:ssh bigdata #用主机名登陆,主机名是在/etc/hosts已记录的 5. 例子3:ssh bigdata...原创 2018-08-20 08:39:21 · 689 阅读 · 0 评论 -
Hive之一统天下
Hive是什么The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already i...原创 2018-08-27 23:57:44 · 142 阅读 · 0 评论 -
Spark的经典套路
经典套路是啥 1. 得到DataFrame或Dataset Dataset<String> ds = … 2. 注册成临时表 ds.createOrReplaceTempView("xxx") 3. SQL计算获取结果 spark.sql ("SELECT …")如何得到ds 1. 程序入口: SparkSession spark...原创 2018-08-29 00:12:47 · 243 阅读 · 0 评论 -
yarn的运行流程
client开始活动 1.1.client在客户端提交jobjob开始活动 2.1. 从RM获取AppId 2.2. 拷贝job资源到hdfs 2.3. 正式向RM提交执行jobRM开始活动 3.1. RM唤起NMNM开始活动 4.1. NM唤起AppMasterAppMaster开始活动 5.1. AppMaster初始化job 5.2. AppMaster获取分片信...原创 2018-09-04 08:43:30 · 269 阅读 · 0 评论 -
浅谈数据结构和算法
数据结构和算法是什么数据结构:数据之间的结构关系算法:对数据的操作数据结构+算法=程序设计好的数据结构+好的算法=好的程序设计数据结构之拆解数据结构之逻辑结构-->逻辑上组织关系:线性,树形,图形,集合数据结构之物理结构-->物理上存储结构:顺序存储,链式存储ps:物理上的存储指的是在内存的存储结构,磁盘的数据组织一般由文件结构来描述算法之拆解算法...原创 2018-09-12 00:40:11 · 160 阅读 · 0 评论 -
spark简明扼要之RDD理解
RDD是什么A Resilient Distributed Dataset,即弹性分布式数据集是Spark中最基本的数据抽象,说它弹性,是因为这个数据集是不可变的, 能够手动或自动进行内存和磁盘数据存储的切换 能够基于Lineage的高效容错说它分布式,是因为它的数据是分区存放在各个节点之上, 并可...原创 2018-09-03 23:34:02 · 159 阅读 · 0 评论 -
JVM-类加载
Java的生命周期如下图Java的生命周期,大致可分为 1. JAVA文件----Via JAVAC----------------->Class文件 2. Class文件---Via ClassLoder------------>JMM 3.1. JMM------Via JavaInterpreter------->执行 3.2. JMM------Via Jit...原创 2018-09-11 00:35:08 · 130 阅读 · 0 评论 -
锁锁锁-多线程锁-多进程锁
锁是什么锁在现实生活意义在于通过加锁的方式达到隐私保护或者独占的意义。锁在程序世界里,加锁是方法,目的在于①独占②同步。多线程锁–锁的源起1.为了尽可能压榨CPU资源,神奇的码农们发明了轻量级进程LWP,即线程,线程越多抢占CPU机会越大。2.但同时也带来了隐患,线程上下文切换(保护当前线程案发现场,调度新线程)导致的效率低下,还得考虑线程之间的通信,及与之带来的线程的同步问题。3...原创 2018-09-27 23:44:49 · 688 阅读 · 0 评论 -
Redis基础串讲
Redis是什么Remote Dictonary Service,直译为远程字典服务,是一个构建与内存的高速的KV数据库Redis能干什么存储热点数据的缓存数据库解决分布式资源冲突的分布式锁解决异步消费的消息队列Redis为什么那么快 1. 构建于内存,KV数据结构类似于hashmap,查询优势明显。 2. KV数据结构中的V有五种常用数据结构,这些数据结构简单,也优化了底层算...原创 2018-09-28 00:28:43 · 137 阅读 · 0 评论 -
Linux I/O彻底解惑
直接上图0-1.用户Call App0-2.Cpu初始化App1-1.用户线程Call内核线程1-2.用户线程Wait for 内核线程返回----------Context Switching No1-----------2-1.内核线程Call DMA2-2.内核线程Wait for data----------Context Switching No2-----------...原创 2018-09-29 00:58:39 · 145 阅读 · 0 评论 -
手绘 SpringCloud微服务 VS DubboRPC服务
微服务之Http请求FeignPostMan手动扣一个Http发送请求客户端原创 2018-10-08 23:19:22 · 147 阅读 · 0 评论 -
从JMM到CAID再到分布式事务-1
为什么要讲这个缘起都来自于并发,粒度再变,解决的核心却很雷同.两个主要关键点资源共享执行调度多线程与JMM开始说起多线程是如何操作共享内存的读:线程得到CPU调度,线程从共享Heap区的实例变量读入线程独有的工作内存改:线程处理工作内存中的值写:线程将工作内存的值写回共享Heap区的实例变量中存在什么样的问题呢?首先:我们明白从执行调度的角度来说,线程何时被调度是无...原创 2018-10-10 23:09:34 · 707 阅读 · 0 评论 -
kafka+spark+redis案例
前提这个案例是基于笔者博文https://blog.csdn.net/weixin_42509545/article/details/81750622的一个升级版,故kafka+spark部分不再赘述,这个案例中只更新processByShop这一个方法spark+redis案例 1. 书写redis链接池: public class RedisApi { priva...原创 2018-08-19 17:47:53 · 475 阅读 · 0 评论 -
Spark核心概念与案例拆解
## Spark是什么 ##Spark是一个无所不能的分布式计算框架官网:http://spark.apache.org/Spark核心概念RDD是分布式数据集合的抽象(结构上看是个行结构)DataFrames and Datasets是对RDD的结构化抽象(结构上看是个二维表)DStreams是对时间片的RDD集合的抽象(结构上看是个空间上的行结构)Struct...原创 2018-08-16 23:23:39 · 227 阅读 · 0 评论 -
sqoop入门
安装tar -xvf sqoop-1.99.7-bin-hadoop200.tar.gzprofile配置vi ~/.bash_profile export SQOOP_HOME=/home/zkpk/sqoop-1.99.7-bin-hadoop200export CATALINA_BASE=$SQOOP_HOME/serverexport LOGDIR=$SQOOP_HOME...原创 2018-08-10 00:35:29 · 182 阅读 · 0 评论 -
hdfs入门
hdfs –help[bigdata@bigdata ~]$ hadoop --helpUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the class named CLASSNAME or where COMMAND is one of: fs ...原创 2018-08-10 21:33:51 · 138 阅读 · 0 评论 -
基于MAC-VMWARE配置静态IP
计划#获取可使用的IP段落cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf | grep range结果:range 172.16.160.128 172.16.160.254;#获取子网掩码cat /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf ...原创 2018-08-10 22:45:53 · 507 阅读 · 0 评论 -
tcp三次握手
TCP是什么Transmission Control Protocol 传输控制协议名词解释syn:同步请求ack:应答为什么握手,握手的目的是什么为了建立连接为什么是三次握手,三次握手都握了些啥第一次握手:客户端发出syn,服务端收到syn,服务端觉得自己(服务端)收信能力和客户端发信能力没有问题第二次握手:服务端发syn+ack,客户端收到syn...原创 2018-08-14 20:34:11 · 106 阅读 · 0 评论 -
Kafka
Kafka是什么分布式的发布-订阅消息系统Kafka存在的意义语言无关性:解除子系统耦合异步处理:削峰填谷Kafka架构 架构1 架构2 Kafka组件说明Topic:如果将Kafka看作数据库,那么Topic就是一个表。 是一个逻辑上概念,对应的物理概念是Partition,就是就是一个目录,目录下面是存储data的segme...原创 2018-08-14 21:43:23 · 809 阅读 · 0 评论 -
高并发之步步为营推理串联
什么是高并发为什么要高并发高并发-多线程-传统IO阻塞:在server.accept(),inputStream.read(bytes)阻塞所以,得使用线程池来保证多线程的使用 线程池使用案例#服务端代码public class OioServer { public static void main(String[] args) throws Exc...原创 2018-08-15 00:52:06 · 270 阅读 · 1 评论 -
maven的阿里镜像
在maven根目录下的conf文件夹中的setting.xml文件里的中增加以下内容<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/publ...原创 2018-08-12 20:58:29 · 140 阅读 · 0 评论 -
mysql存储过程
存储过程是啥英文写法为Stored Procedure,通俗的来讲就是一组sql语句。细分来看,1.何为存储?实际大家执行sql语句的时候,是需要sql引擎进行编译优化然后再执行得到结果的,而存储过程是预先编译的,故称之为存储。2.何为过程?现实生活中,指做了一些列事情最终得到了结果,过程就是那一系列的努力,这里边的存储过程也是同样,并不是一句sql,而是一组sql最简单的存储过...原创 2018-08-12 21:41:02 · 209 阅读 · 0 评论 -
Redis-cli
Redis是什么内存中的数据结KV构存储系统,常用作于高速缓存。5种Redis数据结构的直观感受对key的操作#模糊查询127.0.0.1:6379> keys *1) "ztan"2) "ztan_key"3) "website"4) "app::users::click"5) "redis-test"6) "testkey"7) &原创 2018-08-12 23:04:03 · 231 阅读 · 0 评论 -
Flume入门
Fulme是什么官网地址http://flume.apache.org/是什么分布式非结构化数据(日志)收集系统,提供收集、移动、聚合大量日志数据的服务Flume架构Flume NG核心概念AgentAgent之Source负责接受Event包含Event驱动和轮询2种类型常见类型的Source 与系统集成的Source: S...原创 2018-08-08 21:32:10 · 128 阅读 · 0 评论 -
大数据生态系软件的启动与停止
Hadoop-hdfs:分布式存储start-dfs.sh #启动hdfsstop-dfs.sh #停止hdfsHadoop-yarn:分布式资源(cpu,内存)管理start-yarn.sh #启动yarnstop-yarn.sh #停止yarnmr-jobhistory-daemon.sh start historyserver #启动历史服务器mr-job...原创 2018-08-14 00:17:18 · 193 阅读 · 0 评论 -
分析型数据库产品
参照:https://help.aliyun.com/document_detail/26373.html?spm=a2c4g.11174283.6.539.B287zr原创 2018-08-14 00:22:04 · 1001 阅读 · 0 评论 -
redis入门
redis是什么REmote DIctionary ServerRedis是一款开源的、高性能的键-值存储(key-value store)1.数据全部在内存中,可用作缓存系统;2.数据可以持久化到磁盘上,可用作高可用存储系统安装 1. 获得稳定版安装包:wget http://download.redis.io/releases/redis-stable.tar....原创 2018-08-19 14:10:38 · 123 阅读 · 0 评论