自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 二、 >>> IO流教程

史上最骚最全最详细的IO流教程,没有之一!前言io流用到的地方很多,就比如上传下载,传输,设计模式等....基础打扎实了,才能玩更高端的。在博主认为真正懂IO流的优秀程序员每次在使用IO流之前都会明确分析如下四点:(1)明确要操作的数据是数据源还是数据目的(也就是要读还是要写)(2)明确要操作的设备上的数据是字节还是文本(3)明确数据所在的具体设备(4)明确是否需要额外功能(比如是否需要转换流、高效流等)以上四点将会在文章告白IO流的四点明确里面小结一下,如果各位真能熟.

2021-01-05 23:41:13 119

原创 一、>>>java集合超详解

一、>>> java集合超详解一、集合大纲1.集合和数组的区别:2.Collection集合的方法:3.常用集合的分类:Collection接口的接口 对象的集合(单列集合)├——-List接口:元素按进入先后有序保存,可重复│—————-├LinkedList接口实现类, 链表, 插入删除, 没有同步, 线程不安全│—————-├ArrayList接口实现类, 数组, 随机访问, 没有同步, 线程不安全│—————-└Vec...

2021-01-05 23:35:58 125

原创 CentOS7命令

要求root登录#查看服务状态systemctl status NetworkManager / network#停止服务systemctl stop NetworkManager#启动服务systemctl start NetworkManager#禁止服务开机启动systemctl disable NetworkManager#设置服务开机启动

2017-10-15 14:42:39 423

原创 集群安装规范之linux命令

1      Linux简介CentOSCentOS6.6CentOS官网:http://www.centos.org/CentOS搜狐镜像:http://mirrors.sohu.com/centos/CentOS网易镜像:http://mirrors.163.com/centos/2      Linux安装安装环境:Windows7 , VMware Workst

2017-10-15 11:14:14 1344

原创 游戏项目1-1

游戏项目开始了一、整体架构二、采集数据1、将flume部署在Windows上2、保证数据不能重复3、保证断点续传4、定义拦截器,转换器5、乱码问题6、采集的数据落到Kafka中三、学习flumeFlume.apache.org四、开始写代码1、建一个工程 

2017-08-31 23:50:58 1027

原创 SparkStreaming总结下

一、spark直连方式和Receiver方式比较consumer 传统的消息者(老的方式)需要连接ZK,新的方式(高效的方式)不需要连接ZK,但是要自己维护偏移量consumer group 一个消费者组下可以有多个消费者,不重复消息 DStream离散的数据流,是SparkStreaming中一个最基本的抽象,DStream中不存放数据,也可以认为是一个分布式的数

2017-08-29 21:13:58 7427

原创 sparkStreaming总结

1、实时系统架构简介实时数据处理长江流域水质监测,双十一天猫交易额,高德地图实时加离线:广告推送高可用,高并发,高吞吐消息中间件/消息队列大数据:Kafka:临时存储数据实时计算系统:SparkStreeming/storm数据库:Hbase、Redis/NoSQL关系型数据库:MySQL、Oracle2、Kafka消息中间件Kafka.apache

2017-08-29 19:37:37 604

原创 sparkSql入门1

1.  Spark SQL1.1.  Spark SQL概述1.1.1.   什么是Spark SQL  Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。1.1.2.   为什么要学习Spark SQL我们已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执

2017-08-26 21:18:16 716 1

原创 自定义排序及RDD理解,spark

自定义排序1:object CustomSort1 {   def main(args: Array[String]): Unit = {    val conf = new SparkConf().setAppName("CustomSort1").setMaster("local")    val sc: SparkContext = new SparkCo

2017-08-24 22:06:00 2672

转载 Hadoop/Spark生态圈里的新气象

Hadoop/Spark生态圈里的新气象摘要: 令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。   对于Hadoop你需要了解的最重要的事情就是 ,它不再是原来的Hadoop。令人惊讶的是,Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分,以及它们各自具有的意义。

2017-08-21 13:20:03 269

原创 求学生最喜欢的老师topN两道题

表:http://bigdata.edu360.cn/laozhanghttp://bigdata.edu360.cn/laozhang 一,求学生最喜欢的老师的topNpackage import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf,SparkContex

2017-08-20 21:27:07 387

原创 大数据-spark概述

1.  Spark概述1.1.   什么是Spark(官网:http://spark.apache.org)Spark是一种快速、通用、可扩展的大数据分析引擎。目前,Spark生态系统已经包含多个子项目的集合,其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目,Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算,提高了在大数据环

2017-08-20 20:12:15 1395

原创 Linux 第三天 shell及minimal镜像,免密登录

echo $SHELL用户环境变量 more .bash_profile创建首行#$/bin/bath   第二行#写注释  后面写指令记住加权限 chmod +x test.txt执行sh helloShell.txt. ./test.txt 时在同一个shell里面执行    使用pstree查看aa=$((4+5))  bb=`expr4 + 5`删除变量un

2017-07-26 20:42:19 371

原创 Linux第二天

一、用户和组账号管理保存用户信息的文件:/ect/passwd 保存密码的文件:/etc/shadow保存用户组的文件:/etc/group保存用户组密码的文件:/etc/gshadow操作用户命令useradd:` 添加useradd -u 888 -g users -G sys,root -c(用户描述) "hr zhang" zhangsan修改usermod

2017-07-26 19:38:29 167

原创 Mybatis第一课-牛

Mybatis第一天 1 课程计划JAVAEE开发的三剑客:三大框架SSMMybatis:封装jdbc访问代码的一个框架      (hibernate)    ORMSpring MVC:用来封装servlet编程的一个框架(struts2)Spring:体系整合框架,其他框架的粘合剂;什么是框架:框架(Framework)是整个或部分系统的可重用设计,表现为一组抽象

2017-07-12 16:24:43 475

WenQu.scala

WenQu.scala

2023-08-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除