SpringBoot高级000
SpringBoot高级000.7z
SpringBoot高级005
SpringBoot高级005.7z
SpringBoot高级004
SpringBoot高级002.7z
SpringBoot高级003
SpringBoot高级003.7z
SpringBoot高级002
SpringBoot高级002
SpringBoot高级001
SpringBoot高级001
SpringBoot第十一节
SpringBoot第十一节
SpringBoot第十节
SpringBoot第十节
SpringBoot第九节
SpringBoot第九节
SpringBoot第八节
SpringBoot第八节
SpringBoot第七节
SpringBoot第七节
SpringBoot第六节
SpringBoot第六节
SpringBoot第六节
SpringBoot第五节
SpringBoot第四节
SpringBoot第四节
SpringBoot第三节
SpringBoot第三节
SpringBoot第二节
SpringBoot第二节
SpringBoot第一节
SpringBoot第一节
python爬虫讲义
爬虫，即网络爬虫，通过递归访问网络资源，抓取信息。
比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，理论上可以将爬取到整个互联网的绝大部分数据。
python讲义总结
Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。
Python为我们提供了非常完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等大量内容，被形象地称作“内置电池（batteries included）”。用Python开发，许多功能不必从零编写，直接使用现成的即可。Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。
Python为我们提供了非常完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等大量内容，被形象地称作“内置电池（batteries included）”。用Python开发，许多功能不必从零编写，直接使用现成的即可。
Scala讲义笔记
函数式编程相对于面向对象编程 更加的抽象 好处是 代码可以非常的简洁 更多的采用常量而不是变量来解决问题 这样额外带来的好处 在线程并发时 可以减少甚至杜绝 多线程并发安全问题 特别适合于应用在处理高并发场景 分布式场景下的问题 函数式编程可以使用高阶函数 函数是一等公民 可以更加灵活的进行程序的编写。
函数式编程并不是面向对象编程的发展，而是另外一种解决问题的思路，两者之间也并没有绝对的好坏之分，在不同的场景中各有各的优缺点。
Scala是一种函数是编程的语言 同时具有面向对象编程的特点。
scala&spark;-v4.0
最初学习scala主要为了学习spark生态，但是深入学习scala的一些特性后，深深被scala函数式和面向对象的风格所折服，不得不赞美设计这门语言的设计者。不得不说 scala的函数式和面向对象风格，可以让想象随时发生；如果你是画家，使用scala写的代码将是一幅充满诗意的风景画；如果你是作曲家，写的代码将是一个扣人心弦、跌宕起伏的华美乐章。
spark讲义总结1
用scala编写 底层是基于actor模式的akka框架 代码结构简洁
基于DAG(有向无环图)的执行引擎 减少了计算时数据频繁读写到磁盘的开销
**DAG有向无环图 ： spark设计之初就考虑了 大量连续计算的需求 允许在对数据处理时 经由许多步算子 按序计算来实现处理 这些处理 是一个图的结构 但是要注意的是 图有向但是不能形成环 防止死循环 这样的有向无环的处理过程就称之为Spark的DAG有向无环图。
storm讲义总结
Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。
Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。
Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快(在一个小集群中，每个结点每秒可以处理数以百万计的消息)。
Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。
Hive总结讲义
ive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
HBASE讲义文档
基于hadoop的数据库工具
来源于google的一片论文BigTable 后来由Apache做了开源实现 就是HBase
是一种 NoSQL 非关系型的数据库 不符合关系型数据库的范式
适合存储 半结构化 非结构化 的数据
适合存储 稀疏的数据 空的数据不占用空间
面向列(族)进行存储
提供实时增删改查的能力 是一种真正的数据库
可以存储海量数据 性能也很强大 可以实现上亿条记录的毫秒级别的查询
但是不能提供严格的事务控制 只能在行级别保证事务
是一个高可靠性 高性能 面向列 可伸缩的分布式存储系统 利用hbase技术可以在廉价的PC上搭建起大规模结构化存储集群。
HBase利用HadoopHDFS作为其文件存储系统，利用Hadoop的MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调
hadoop讲义
2004年，开发一款搜索引擎，nutch。nutch基于Lucence实现的搜索引擎，能够从互联网上抓取网页数据。抓取来的海量数据的存储问题。但是，这些海量数据都是非结构化数据，不能存在关系型数据库里。如果连数据的存储和管理都解决不了的话，就谈不上后续为用户提供搜索服务，包括通过算法去优化检索速度
flume学习总结3
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。
是apache的一个顶级项目
flume学习总结1
flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统。
是apache的一个顶级项目
RSS订阅
180
