Carelton的博客

2.

课后习题（2-10,2-13,2-16）1.常用的传输媒体有哪几种？各有何特点？答：1.双绞线其特点是成本低、灵活性强，通常用于局域网的传输。但传输距离较短，抗干扰能力相对较弱。2.光纤。主要特点是传输速度快、传输距离远、抗干扰能力极强、信号质量稳定。光纤已广泛应用于通信、广播、电视等领域3.同轴电缆，可用于模拟信号和数字信号的传输，特点是传输距离长、带宽大、抗干扰能力强，但成本较高。4.无线电，主要特点是传输距离远、灵活性高、无需布线、易于移动，但受环境因素和干扰较为严重568B。

赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。数据可在阿里云学习赛中获得。考虑用卡方检验进行特征选择。数据探索性分析：（eda）将正样本排在负样本前面。

shark直接从hive里面搬过来的，只有蓝色部分，转换成spark，提升性能。

自定义分区一个例题：最终输出：思考之后发现这个就是把表中的商品id和点击次数去进行一个排序再输出。主要难点在于怎么去构造map和reduce的过程。先来看看MapReduce的流程：分布式程序有三个流程：（1）MRAppMaster （2）MapTask （3）ReduceTask说白了就是首先申请资源，然后执行分而治之的过程，把一个大任务拆分

首先，hive是一个构建于hadoop集群之上的数据仓库应用。那么，得先了解一下什么是数据仓库？数据仓库是一个数据集合，用于支持管理决策。简单来说就是为了分析数据而设计的仓库。那么hive就好理解了，hive是一个翻译器，不具备计算能力，存储能力，是一个构建于hadoop集群之上的系统，用于存储和处理数据。而它将得到的数据映射到一张数据表，然后存储在hafs之上。

Apache Kafka 是一款开源分布式流处理平台。可以用来发布和订阅数据以及对数据进行实时或者离线处理。