xiaoqiang17-CSDN博客

原创二、＞＞＞ IO流教程

史上最骚最全最详细的IO流教程，没有之一！前言 io流用到的地方很多，就比如上传下载，传输，设计模式等....基础打扎实了，才能玩更高端的。在博主认为真正懂IO流的优秀程序员每次在使用IO流之前都会明确分析如下四点：（1）明确要操作的数据是数据源还是数据目的(也就是要读还是要写) （2）明确要操作的设备上的数据是字节还是文本（3）明确数据所在的具体设备（4）明确是否需要额外功能（比如是否需要转换流、高效流等）以上四点将会在文章告白IO流的四点明确里面小结一下，如果各位真能熟.

2021-01-05 23:41:13 119

原创一、＞＞＞java集合超详解

一、>>> java集合超详解一、集合大纲 1.集合和数组的区别： 2.Collection集合的方法： 3.常用集合的分类： Collection接口的接口对象的集合（单列集合） ├——-List接口：元素按进入先后有序保存，可重复 │—————-├LinkedList接口实现类，链表，插入删除，没有同步，线程不安全 │—————-├ArrayList接口实现类，数组，随机访问，没有同步，线程不安全 │—————-└Vec...

2021-01-05 23:35:58 125

原创 CentOS7命令

要求 root登录 #查看服务状态 systemctl status NetworkManager / network #停止服务 systemctl stop NetworkManager #启动服务 systemctl start NetworkManager #禁止服务开机启动 systemctl disable NetworkManager #设置服务开机启动

2017-10-15 14:42:39 424

原创集群安装规范之linux命令

1 Linux简介 CentOS CentOS6.6 CentOS官网：http://www.centos.org/ CentOS搜狐镜像：http://mirrors.sohu.com/centos/ CentOS网易镜像：http://mirrors.163.com/centos/ 2 Linux安装安装环境：Windows7 , VMware Workst

2017-10-15 11:14:14 1347

原创游戏项目1-1

游戏项目开始了一、整体架构二、采集数据 1、将flume部署在Windows上 2、保证数据不能重复 3、保证断点续传 4、定义拦截器，转换器 5、乱码问题 6、采集的数据落到Kafka中三、学习flume Flume.apache.org 四、开始写代码 1、建一个工程

2017-08-31 23:50:58 1027

原创 SparkStreaming总结下

一、spark直连方式和Receiver方式比较 consumer 传统的消息者（老的方式）需要连接ZK，新的方式（高效的方式）不需要连接ZK，但是要自己维护偏移量 consumer group 一个消费者组下可以有多个消费者，不重复消息 DStream离散的数据流，是SparkStreaming中一个最基本的抽象，DStream中不存放数据，也可以认为是一个分布式的数

2017-08-29 21:13:58 7428

原创 sparkStreaming总结

1、实时系统架构简介实时数据处理长江流域水质监测，双十一天猫交易额，高德地图实时加离线：广告推送高可用，高并发，高吞吐消息中间件/消息队列大数据：Kafka:临时存储数据实时计算系统：SparkStreeming/storm 数据库：Hbase、Redis/NoSQL 关系型数据库：MySQL、Oracle 2、Kafka消息中间件 Kafka.apache

2017-08-29 19:37:37 604

原创 sparkSql入门1

1. Spark SQL 1.1. Spark SQL概述 1.1.1. 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 1.1.2. 为什么要学习Spark SQL 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执

2017-08-26 21:18:16 716 1

原创自定义排序及RDD理解，spark

自定义排序1： object CustomSort1 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("CustomSort1").setMaster("local") val sc: SparkContext = new SparkCo

2017-08-24 22:06:00 2672

转载 Hadoop/Spark生态圈里的新气象

Hadoop/Spark生态圈里的新气象摘要：令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。　　对于Hadoop你需要了解的最重要的事情就是，它不再是原来的Hadoop。令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。

2017-08-21 13:20:03 270

原创求学生最喜欢的老师topN两道题

表： http://bigdata.edu360.cn/laozhang http://bigdata.edu360.cn/laozhang 一，求学生最喜欢的老师的topN package import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf,SparkContex

2017-08-20 21:27:07 387

原创大数据-spark概述

1. Spark概述 1.1. 什么是Spark（官网：http://spark.apache.org） Spark是一种快速、通用、可扩展的大数据分析引擎。目前，Spark生态系统已经包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环

2017-08-20 20:12:15 1396

原创 Linux 第三天 shell及minimal镜像,免密登录

echo $SHELL 用户环境变量 more .bash_profile 创建首行#$/bin/bath 第二行#写注释后面写指令记住加权限 chmod +x test.txt 执行sh helloShell.txt . ./test.txt 时在同一个shell里面执行使用pstree查看 aa=$((4+5)) bb=`expr4 + 5` 删除变量un

2017-07-26 20:42:19 371

原创 Linux第二天

一、用户和组账号管理保存用户信息的文件：/ect/passwd 保存密码的文件：/etc/shadow 保存用户组的文件：/etc/group 保存用户组密码的文件：/etc/gshadow 操作用户命令 useradd:` 添加useradd -u 888 -g users -G sys,root -c(用户描述） "hr zhang" zhangsan 修改usermod

2017-07-26 19:38:29 167

原创 Mybatis第一课-牛

Mybatis第一天 1 课程计划 JAVAEE开发的三剑客：三大框架SSM Mybatis：封装jdbc访问代码的一个框架（hibernate） ORM Spring MVC：用来封装servlet编程的一个框架（struts2） Spring：体系整合框架，其他框架的粘合剂；什么是框架：框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象

2017-07-12 16:24:43 478

大数据小生的博客