Q_Anyang的博客

原创 redis

* 一、概述 * 二、数据类型 * STRING * LIST * SET * HASH * ZSET * 三、数据结构 * 字典 * 跳跃表 * 四、使用场景 * 计数器 * 缓存 * 查找表 * 消息队列 * 会话缓存 * 分布式锁实现 * 其它...

原创 HashMap源码

原创 spring IoC(控制反转)和DI(依赖注入)

1.1、IoC是什么　　Ioc—Inversion of Control，即“控制反转”，不是什么技术，而是一种设计思想。在Java开发中，Ioc意味着将你设计好的对象交给容器控制，而不是传统的在你的对象内部直接控制。如何理解好Ioc呢？理解好Ioc的关键是要明确“谁控制谁，控制什么，为何是反转（有反转就应该有正转了），哪些方面反转了”，那我们来深入分析一下：　　●谁控制谁，控制什么：传统...

原创 Spark总结

离线分析：       把一段时间的数据经过收集，整理，分析，会得出一些结论，以供人们做出一些决策。       spark就是离线分析一个框架。秒级 storm是毫秒级spark：由美国加州大学伯克利分校AMP实验室开发的一个快如闪电的并行的集群计算框架              AMP：Arithmetic算法，Machines机器，People人           ...

原创 Java集合框架总结

集合框架，体系{      数组和集合             数组使用有局限性      不同集合适用不同的场景     集合框架由接口和类共同组成    }Collection 集合{       代表一个集合    定义了集合最基本的操作   没有直接的实现类       但是有子接口  子接口有实现类  如 Set  List}Collection 中方法{          应该有对容器...

原创 shuffle过程的代码笔记总结

hadoop上的小文件{  文件是自己独占一块的   由于小文件也要有元数据信息进行描述  所以小文件过多会早从元数据庞大  处理办法 1 别传           2 小文件合并  1java Api  FileUtil.copyMerge            2har【合并后的文件夹target以及里面的xx.har      hadoop archive -archiveName xx.h...

原创 Java操作HDFS

Java操作HDFS  FileSystem：FSDataIntputStream  FSDataOutputStream DtributedFileSystemFileUtil   FileStatus1.  FileSystem  Private FileSystemfs； Private String URL=“hdfs://192.168.170.128：8020”；  *建立连接 用ju...

原创 Yarn百度百科

yarnApache HadoopYARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN简介YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，...

原创 MapReduce和shuffle过程

7.1 概述7.1.1分布式并行编程1.很长一段时间里，CPU遵循摩尔定律，每18个月性能翻一番，价格降一半2.分布式并行编程与传统的程序开发方式有很大的区别，传统都是以单指令，单数据流的方式顺序执行，但是这样性能收到了单台机器的限制，但是分布式并行程序可以通过向集群中增加单节点来提高集群的能力扩充3.谷歌首先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实...

原创 分布式数据库HBase

分布式数据库Hbase4.1 概述4.1.1从BigTable说起 1.BigTable是一个分布式存储系统，利用谷歌提出的MapReduce分布式并行计算模型来处理海量数据，用谷歌分布式文件系统GFS作为底层数据存储，采用Chubby提供协同服务管理（谷歌的协调服务，Chubby类似Zookeeper） 2.BigTable的特性  *支持大规模海量数据  *分布式并发数据处理效率极高  *易扩...

原创 Hadoop分布式文件系统

3.1分布式文件系统3.1.1计算机的集群结构1.单个计算机节点由处理器，内存，高速缓存和本地磁盘构成2.分布式文件系统把文件分布到多个计算机节点中，成千上万个计算机节点构成集群3.计算机节点放在机架（rack）上，每个机架8-64个节点，每个节点通过网络互连，多个不同机架采用另一级网络或者交换机互联3.1.2 分布式文件系统结构  1.在windows，Linux等操作系统中，文件系统会把磁盘空...

原创 大数据处理架构Hadoop

2.1.1Hadoop简介 1.Hadoop是Apache软件基金会旗下一个分布式计算平台  基于Java2.Hadoop的核心是分布式文件系统 HDFS 和 MapReduce3.HDFS是对谷歌GFS的开源实现 具有较高的读写速度，容错性，可伸缩性4.HDFS是冗余数据存储方式5.MapReduce是针对谷歌MapReduce的开源实现 并行开发应用程序2.1.2Hadoop的发展历史1.Ha...

原创 大数据概述

http://my.csdn.net/q_anyang栈 堆 类加载 垃圾回收大数据技术1、Hadoop2、MapReduce3、HDFS4、HBase三次信息化浪潮1、1980  个人计算机  信息处理问题2、1995  互联网   信息传输问题3、2010  物联网、云计算、大数据  信息爆炸问题信息科技提供技术支撑1 解决信息存储、信息传输、信息处理三个问题2、储存设备容量增加。闪存3、CP...

原创 Linux操作系统总结

Linux{     Linux是一款广泛应用于服务器的操作系统      操作系统是硬件基础上的第一层软件 应用软件需要安装到操作系统上     Linux 的特点    安全    免费开源    多用户  完全的 一个用户的操作不会影响到其他用户    稳定，快速 设计   java 大数据环境都默认支持Linux  Linux的版本[   内

原创 shell编程

函数{   for while if   date +%N%s纳秒 秒   函数名  参数1  参数2                   $1      $2   删除大小为0文件                 ls -l    |    cut  -d   -f      mkdir  while   break}编写一个随机数的函数{     dat

原创 shell

shell{ 1 while 循环 ：【     while [ $i -lt 10 ]    do    done    注意 在变量自增的时候          如果直接 $num+1 字符串拼接      num=$(($num+1))     #当数字计算    num=$[$num+1]   //[]可以代替上面  例如：     nu

原创 用户组权限

命令查询网址 http://man.linuxde.net/cd ..回到上一层目录cd ~回到家目录cd / 回到根目录绝对路径和相对路径    绝对路径是完整的路径    相对路径是相对与当前目录的路径查看目录     ls -a   查看目录包括隐藏的     ls -R   级联显示文件     ll 详细查询 显示文件时间等     l

原创 Linux

复习{  数据库SQL jdbc    DDL DML   要熟练掌握SQL语句 聚合函数 ，分组（理解好），子查询 表连接，SQL语句的练习题    表 视图 索引 事务     jdbc 理解jdbc的思想 jdbc的API   Statement 创建声明 PreparedStatement预处理语句     ResultSet 结果集 Connection连

原创 jdbc访问数据库无痕操作

创建表tb_stu2,循环录入信息表中数据如下：-----------------name  age  classidgaga1  1      1gaga2  2      1gaga3  3      1gaga4  4      1gaga5  5      1gaga6  6      1gaga7  7      1gaga8  8      

原创 sql语句题集

--15、显示所有雇员的姓名，用a替换所有'A' select replace(ename,'A','a') from emp  --16、显示所有雇员的姓名以及满10年服务年限的日期select ename,from_days(to_days(now())-to_days(hiredate)) "服务年限" from empselect *from (select e