大数据
Souane
这个作者很懒,什么都没留下…
展开
-
【算法学习】线性回归,逻辑回归
【算法学习】线性回归,逻辑回归回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,...原创 2020-09-12 16:53:30 · 293 阅读 · 0 评论 -
【大数据学习之路】本地CDH的安装
CDH的安装此次安装我使用的centos镜像版本为centos7,因为自身电脑配置原因我搭建了一台主机和一台子机。一.网络的配置以及一些小工具的安装1.配置网络:采用Nat方式联网。2. vim /etc/sysconfig/network-scripts/ifcfg-ens33ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.195.11NETM...原创 2019-05-24 08:19:20 · 714 阅读 · 0 评论 -
【大数据学习之路】SparkSQL,mapreduce(大数据离线计算)方向学习(一)
SparkSQL,mapreduce(大数据离线计算)方向学习(一)图片: 带尺寸的图片: 当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面,选择一款你喜欢的代码片高亮样式,下面展示同样高亮的 代码片.// An highlighted blockvar foo = 'bar';生成一个适合你的列表项目项目项目...原创 2019-05-28 14:58:01 · 578 阅读 · 0 评论 -
【大数据学习之路】SparkSQL,mapreduce(大数据离线计算)方向学习(三)
【大数据学习之路】SparkSQL,mapreduce(大数据离线计算)方向学习(二)原创 2019-06-02 14:03:28 · 381 阅读 · 0 评论 -
【大数据学习之路】SparkSQL,mapreduce(大数据离线计算)方向学习(二)
【大数据学习之路】SparkSQL,mapreduce(大数据离线计算)方向学习(二)SparkSql将RDD封装成一个DataFrame对象,这个对象类似于关系型数据库中的表。一、创建DataFrame对象DataFrame就相当于数据库的一张表。它是个只读的表,不能在运算过程再往里加元素。RDD.toDF(“列名”)scala> val rdd = sc.parallelize...原创 2019-06-02 15:27:36 · 259 阅读 · 0 评论 -
【大数据学习之路】SparkSQL学习阶段性总结(一)
【大数据学习之路】SparkSQL学习阶段性总结(一)Spark SQL使用场景1、文件中数据的特殊查询(即席查询;即席查询是可以进行特殊的字段查询自定义的查询;普通查询就是别人已经定义好的查询方式)2、实时SQL分析流数据3、可以进行ETL操作4、与外部数据库的交互5、具有更大集群的可伸缩查询性能Spark SQL加载数据1、直接将数据加载到一个DataFrame中2、将数据加...原创 2019-06-09 13:08:20 · 222 阅读 · 0 评论 -
【大数据学习之路】SparkSQL学习阶段性总结(二)
【大数据学习之路】SparkSQL学习阶段性总结(二)一、使用Hive数据源1、什么是HiveContextSpark SQL支持对Hive中存储的数据进行读写操作Hive中的数据时,必须创建HiveContext(HiveContext也是已经过时的不推荐使用,额。。。。。还没学好就已经过时了)。HiveContext继承自SQLContext,但是增加了在Hive元数据库中查找表,以及...原创 2019-06-21 08:23:05 · 268 阅读 · 0 评论