巴卫大人-CSDN博客

原创 2.11复习

大数据的数据不可修改 hive不是数据库是个数仓系统对数据统计聚合的 hbase表现出修改实际上重新写了一条数据应用程序中表现新的数据其实是写了一个新的数据起了一个新的版本号在默认情况下查询的是最新版本号 hive在对数据进行聚合统计的时候跑的都是mapreduce 在写或者更新的时候跑的也是mapreduce 速度都是很慢的而hive不做聚合统计只做条件筛选的时候速度是很快的...

2019-02-14 12:26:43 130

原创 module12 spark

rdd 弹性分布式数据集 dag 有向无环图 join 具有相同的列 uion 具有相同数据结构 join groupBy filter 连接分组过滤相同k 分组 yarn 资源分配框架 spark执行模型 shuffle 迁移数据 join by 洗牌基于拉，而不是推写入磁盘拉数据计算少量数据上亿数据集群管理器 cluster manager worker node 懒加载 ...

2018-12-26 17:27:56 121

原创高阶函数

file p 添加依赖 java：有8种基本数据类型 scala:1.所有值都是一个对象 2.所有函数或对象都是一个值 3.var 变量 val 常量高阶函数 class case class（伴生对象） object static main 纵向 =》继承和实现横向关联依赖聚合(大脑心脏) 组合(丈夫妻子孩子) 设计原理、 ...

2018-12-20 17:30:39 214

原创小甲鱼python

入门 url 网页的地址 URL library url由三部分组成： 1.协议，常见的有http,https,ftp,file(访问本地文件夹),ed2k(电驴的专用链接) 2.存放资源的服务器的域名系统(DNS)或IP地址(优势要包含端口号，各种传输协议都有默认的端口号，如http的默认端口号为80) 3.主机资源的具体地址，如目录和文件名等。 1 2用

2018-12-08 15:23:29 2320

原创 lock

pv操作 threading模块对唯一资源进行保护： lock 单一锁，请求一次就不可再次请求对同一线程的资源进行保护： RLock 递归锁（可重入锁），同一个线程可以请求多次必须都释放以后，别的线程才可以请求对有限数量资源进行保护： Semaphore 信号量，只能请求有限的次数对同一线程进行保护的同时提供同步通知： Condition 同步条件，内部包含一个递归锁，同时还提供同步功能：...

2018-12-04 17:36:22 102

原创 python黑马

注释 PEP （Python Enhancement Proposals）文档第八篇针对Python的代码格式 PyCharm的调试工具 F8 step over 可以单步执行代码，会把函数调用看作是一行代码直接执行 F7 step into 可以单步执行代码，如果是函数，会进入函数内部在函数中给文档增加注释 """ 注释""" 光标移到函数 ctrl+Q快速查看函数体相对比较独立...

2018-12-04 12:30:18 450

原创 python 列表，元组和字符串

列表添加元素一个 append() 多个 extend([]) 任意位置insert(索引,参数) 获取元素位置互调 >>> name = ["鸡蛋","鸭蛋","鹅蛋","鹌鹑蛋"] >>> name[0],name[3] = name[3],name[0] >>> name

2018-11-30 20:20:17 213

原创 python分支和循环

python可以有效避免悬挂else python不存在悬挂else(else就近原则，else属于内层if)，强制使用正确的缩进条件表达式三元操作符语法： a = x if 条件 else y ex: if x < y: small = x else: small = y ==> small = x if x < y else y 断言(assert) 当关键字...

2018-11-30 19:12:57 323

原创 hadoop配置linux

ssh dsj5 exit start-dfs.sh jps netstat -ant | grep 9000 netstat -ant | grep 50070 start-yarn.sh jps hdfs dfs -ls

2018-10-01 20:09:28 156

转载 Java刘意第八天笔记

工具中使用静态：在同一个类中，main方法只能访问静态方法。【错误：无法从静态上下文中引用非静态，这样的错误一定是因为在main方法中调用了非静态方法。】对非静态方法来说，只能通过对象(也就是其他类的对象)来调用非静态方法。静态方法当然也可以，而且静态方法可以直接调用类名来访问。下面考虑一个问题：在工具类中，假如我不想被人创造对象，只想被人直接通过类名调用静态方法，该怎么办？把类中的...

2018-09-19 11:35:09 300

weixin_41130372的博客