网课
希望头发巨多的妹子
越来越好
展开
-
大数据框架的应用
推荐系统 基于大数据的综合健康服务平台 城市管理,安防领域 金融,高频交易,肉眼看不到,一瞬间 销售行业:关联购买行为 餐饮行业:线下门店布局。 电信行业,挽留用户 能源行业,智能电表。对用户海量数据进行分析。 体育娱乐:投拍影视剧,球队训练计划, 安全领域:防御网络攻击,犯罪率, 政府领域:选举策略 推荐系统: 长尾现象, 不需要摆货, 冷门商品销售比热门还要多。 目标群体,找到需要买冷门商品的用户。个性化推荐 推荐方法: 专家推荐 基于统计推荐,容易实现 基于内容的推荐 协同过滤推荐,最成功的原创 2020-06-10 17:50:33 · 217 阅读 · 0 评论 -
大数据框架---图计算--2020.6.3
#图计算原创 2020-06-03 18:23:15 · 192 阅读 · 1 评论 -
大数据框架--数据可视化代码--2020.5.31
index.jsp <%@ page pageEncoding="UTF-8"%> <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>用户行为分析</title原创 2020-05-31 19:00:08 · 784 阅读 · 0 评论 -
大数据框架-流计算--5.27
hadoop批处理 Spark实时批处理 Storm流计算框架 ####流数据计算处理流程: 真正实时性,不断推送查询结果。 #####适用场景 电商 Super Mario,处理流程 实时交通,防止交通拥堵 ####框架 Storm是Twitter公司开发的一个框架 Yahoo S4 ###Spark Streaming、Samza以及三种流计算框架 ####Spark Streaming是基于内存的,运行速度快,比MapReduce好很多 Samza 选择 ...原创 2020-05-27 18:15:04 · 398 阅读 · 0 评论 -
大数据框架4-29HBase
列式存储,比行式存储效率高 olap原创 2020-04-29 17:43:38 · 103 阅读 · 0 评论 -
大数据框架运行的错误---(已解决)hive语句--2020.4.22
要知道group by和order by的用法 group by是按照某一类分组 order by 一般是排序 两者可以共存,几乎缺一不可 例题: 按省分类汇总(把sql语句补上) Select province,count(province) from log group by province; ...原创 2020-04-22 17:55:08 · 160 阅读 · 0 评论 -
计算机组成与结构
3.总线通信的四种方式: 同步通信:统一的时钟信号 异步通信:应答方式 半同步通信:差异大就异步 存储器: 缓存,寄存器,贵,快,内存小 3.主存中存储单元地址的分配: 高位字节地址为字地址 低位字节地址为字地址 边界对齐效率高 ...原创 2020-03-23 21:30:29 · 114 阅读 · 0 评论 -
多元统计分析------------主成成分分析
支持向量机:投到高维的 利用相关性,有冗余降维 利用特征抽取 主要思想: 将原始变量做线性加权形成 少数几个无关的综合变量, 反应变量的大部分信息,当地一个线性组合不能提取更多的信息时,再考虑第二个线性组合····· 这些线性组合成为主成分。 使用方差描述信息,方差越大,越好 总体的主成分: 有几个随机变量有几个主成分 公式: 第一主成分: 方差越大,含有的信息量越多...原创 2020-03-23 11:39:34 · 227 阅读 · 0 评论 -
大数据框架-----3.11----2
第三讲:分布式文件系统HDFS 3.1 分布式文件系统 3.2 HDFS简介 3.3 HDFS相关概念 3.4 HDFS体系结构 3.5 HDFS存储原理 3.6 HDFS数据读写过程 3.7 HDFS编程实践 分布式存储+分布式处理 实时性不高,海量流数据,不适合大规模小文件存储,不支持多用户写入及修改文件,不支持多用户写入及修改 3.3 HDFS相关概念 块...原创 2020-03-11 22:15:22 · 82 阅读 · 0 评论 -
大数据框架-----3.10----2
Apache下的开源软件 开源是分布式计算平台 各种原研开发hadoop应用 两大核心 HDFS MapReduce分布式并行编辑框架 可以用离线仓库hive pig原创 2020-03-11 17:10:07 · 87 阅读 · 0 评论 -
大数据框架-3.4----1
物联网推动了大数据的进程 Dremel 1s1TB的数据 大数据的影响:事务理论 全样而非抽样 效率而非精确 相关而非因果 大数据的应用: 纸牌屋的火爆 谷歌流感预测 大数据关键技术 分布式存储,分布式处理 批处理 MapReduce批处理计算模式的典型代表 Spak实时性比上一个好,可高效迭代计算 流计算 S4 Storm Flume 图计算 ...原创 2020-03-04 17:04:01 · 149 阅读 · 0 评论 -
计算机组成与结构-----2020.3.4-4
二、总线特性 4.地址信号,数据信号,才能出现有效的读操作 总线的性能指标 1.总线的宽度,数据线的根数越多传的越多 2.标准传输率 每秒传输的最大字节数(MBps) 3.时钟同步/异步,两者步调一致 4.总线复用,缺点,时间长,因为地址线与数据线要转换 地址线,数据线是指的功能 也就是说信号线数从物理方面来考虑,不是从功能上来考虑 四、总线的标准 符合标准才可 ...原创 2020-03-04 09:40:04 · 94 阅读 · 0 评论 -
数据结构-----2020.3.3--------3
8O(o^2) 时间复杂度:递归的时间复杂度,用不递归的来表示 数据结构:逻辑结构和存储结构 存储结构:顺序存储,链式存储(单链表) 准确率,召回率 不考虑外存和内存的交换 三大数据结构:表,图。数 两个基本操作 顺序存储:数组 链式存储:链表 线性表,简称表,n>=0具有相同类型的数据元素的有限序列 空表:长度等于0L=() 下表i表示该元素在表中的位置或序号。...原创 2020-03-03 09:38:32 · 82 阅读 · 0 评论 -
计算机组成与结构----2020.3.2-----3
//表示放一起 除法运算, 控制器的基本组成 执行指令:PC,首先取指令,要在控制器中执行,一次内存的读的过程 取指令: 把PC的内容,送到内存,给指令地址的,加1,指向下一条 PC 存放当前欲执行指令的地址, 具有计数功能(PC)+ 1 PC,构成程序的循序执行。 IR存放当前欲执行的指令 两个大的阶段。1.取2执行 iD是第二部分析指令的过程,叫做指令译码 第一步...原创 2020-03-02 15:57:03 · 148 阅读 · 0 评论 -
操作系统----2020.3.2------3
多道批处理: 宏观上并行:看起来好像一起运行 并发:基本特征 第二章:进程 资源:CPU,分内存,外存,文件,接口 进程: 2.1.为什么要引入进程: 前驱图和程序的顺序执行: 前驱图:用于描述进程之间执行的前后关系 前驱后继· 不可能有环 有前驱关系的不能并行 提高效率 程序顺序执行的特征: 效率不高 单道性 多到并发进行,结果不可再现, P352.2....原创 2020-03-02 09:38:10 · 154 阅读 · 0 评论 -
操作系统---2020.2.27--------2
分时操作系统:时间片轮转,桥梁,管家,调度。(不如批处理效率高,指的是cpu的利用率) 管理:cpu,内存,设备,文件。总起为核,图形接口,命令接口, 后备作业队列在内存中 1.2.5 实时系统(Real-Time System) 及时性,高可靠性 应用: 飞机导航(硬实时操作系统),温控系统 办公系统(分时操作系统) 航空订票(软实时) 科学计算(批处理) 多用户,多任务,...原创 2020-02-27 11:28:58 · 155 阅读 · 0 评论 -
计算机组成结构2020.2.26----2
地址码: 累加器和存储器的区别:累加器属于运算器的储存部件,运算结果放到acc还可以传出去, ACC:大型机器加工车间 2,计算机解题的过程 一般是由cpu送出来的地址,送到MAR(放地址) MDR,读,存储通过数据总线送给CPU 存储单元个数=2**mar 除数,取数,除,取数 乘法,取数,乘 x有数据传输通道 ...原创 2020-02-26 09:44:59 · 97 阅读 · 0 评论 -
多元统计分析2020.2.24-----1
转存失败重新上传取消正在上传…重新上传取消转存失败重新上传取消 多元统计基础知识 线性代数,微积分,概率论, 概率论:理论 统计:实际 以应用为主,不注重理论推导 scilkit-learn ,scipy numpy, 讨论多维随机向量的理论和统计方法的总称 多元统计数据的图表表示方法 简化数据(降维数据)(主成分析,因子分析,对应分析) 分类与判别(归类问题),聚类...原创 2020-02-24 11:39:08 · 180 阅读 · 0 评论 -
操作系统--2020.2.24(周一)
操作系统 资源由谁管理:CPU 外边加上shell核 并发运行,只在一个工作进行运用os 是啥: 程序的集合, 控制和管理计算机软硬件资源、合理的组织 管家、调度、桥梁。 考408王道的辅导书,要是考研要学习那个学校的教材 目标和作用: 方便用户使用, 有效性(系统管理人员的观点) 1.接口作用 硬件上边的第一层软件 2.系统调用方式(专门给程序员)(特别) 3,...原创 2020-02-24 09:45:34 · 109 阅读 · 0 评论