巴卫大人-CSDN博客

原创 2.11复习

大数据的数据不可修改hive不是数据库是个数仓系统对数据统计聚合的hbase表现出修改实际上重新写了一条数据应用程序中表现新的数据其实是写了一个新的数据起了一个新的版本号在默认情况下查询的是最新版本号hive在对数据进行聚合统计的时候跑的都是mapreduce 在写或者更新的时候跑的也是mapreduce 速度都是很慢的而hive不做聚合统计只做条件筛选的时候速度是很快的...

2019-02-14 12:26:43 134

原创 module12 spark

rdd 弹性分布式数据集dag 有向无环图join 具有相同的列uion 具有相同数据结构join groupBy filter连接分组过滤相同k 分组yarn 资源分配框架spark执行模型shuffle 迁移数据 join by洗牌基于拉，而不是推写入磁盘拉数据计算少量数据上亿数据集群管理器 cluster managerworker node 懒加载...

2018-12-26 17:27:56 124

原创高阶函数

file p 添加依赖java：有8种基本数据类型scala:1.所有值都是一个对象2.所有函数或对象都是一个值3.var 变量 val 常量高阶函数class case class（伴生对象）object static main纵向 =》继承和实现横向关联依赖聚合(大脑心脏) 组合(丈夫妻子孩子)设计原理、...

2018-12-20 17:30:39 218

原创小甲鱼python

入门url 网页的地址 URL libraryurl由三部分组成：1.协议，常见的有http,https,ftp,file(访问本地文件夹),ed2k(电驴的专用链接)2.存放资源的服务器的域名系统(DNS)或IP地址(优势要包含端口号，各种传输协议都有默认的端口号，如http的默认端口号为80)3.主机资源的具体地址，如目录和文件名等。1 2用

2018-12-08 15:23:29 2325

原创 lock

pv操作threading模块对唯一资源进行保护：lock 单一锁，请求一次就不可再次请求对同一线程的资源进行保护：RLock 递归锁（可重入锁），同一个线程可以请求多次必须都释放以后，别的线程才可以请求对有限数量资源进行保护：Semaphore 信号量，只能请求有限的次数对同一线程进行保护的同时提供同步通知：Condition 同步条件，内部包含一个递归锁，同时还提供同步功能：...

2018-12-04 17:36:22 109

原创 python黑马

注释PEP （Python Enhancement Proposals）文档第八篇针对Python的代码格式PyCharm的调试工具F8 step over 可以单步执行代码，会把函数调用看作是一行代码直接执行F7 step into 可以单步执行代码，如果是函数，会进入函数内部在函数中给文档增加注释""" 注释""" 光标移到函数 ctrl+Q快速查看函数体相对比较独立...

2018-12-04 12:30:18 459

原创 python 列表，元组和字符串

列表添加元素一个 append()多个 extend([])任意位置insert(索引,参数)获取元素位置互调 >>> name = ["鸡蛋","鸭蛋","鹅蛋","鹌鹑蛋"] >>> name[0],name[3] = name[3],name[0] >>> name

2018-11-30 20:20:17 218

原创 python分支和循环

python可以有效避免悬挂elsepython不存在悬挂else(else就近原则，else属于内层if)，强制使用正确的缩进条件表达式三元操作符语法：a = x if 条件 else yex:if x < y:small = xelse:small = y==> small = x if x < y else y断言(assert)当关键字...

2018-11-30 19:12:57 333

原创 hadoop配置linux

ssh dsj5exitstart-dfs.shjpsnetstat -ant | grep 9000netstat -ant | grep 50070start-yarn.shjpshdfs dfs -ls

2018-10-01 20:09:28 161

转载 Java刘意第八天笔记

工具中使用静态：在同一个类中，main方法只能访问静态方法。【错误：无法从静态上下文中引用非静态，这样的错误一定是因为在main方法中调用了非静态方法。】对非静态方法来说，只能通过对象(也就是其他类的对象)来调用非静态方法。静态方法当然也可以，而且静态方法可以直接调用类名来访问。下面考虑一个问题：在工具类中，假如我不想被人创造对象，只想被人直接通过类名调用静态方法，该怎么办？把类中的...

2018-09-19 11:35:09 302

weixin_41130372的博客