- 博客(4)
- 收藏
- 关注
RSS订阅原创 Spark避免小文件
SQL-Client select * from table1 distribute by rand(); select /+ REPARTITION(200) / a. from table1 a; select /+ COALESCE(200) / a. from table1 a; API 用 coalesce或者repartition，num=(1.0*(df.count())/7000000).ceil.toInt df.coalesce(num) df.repartition(.
2020-09-25 11:25:25
498
原创 Spark实现K-means
Q：无监督学习和有监督学习定义和区别 A：有监督学习：提供数据并提供数据对应结果的机器学习过程。追要包括分类和回归。 无监督学习：提供数据但是不提供数据对应结果的机器学习过程。主要应用在统计学中的密度估计和聚类分析。 Q：K-means的聚类过程 A： step1：首先选择k个类别的中心点 step2：对任意一个样本，求其到各类中心的距离，将该样本归到距离最短的中心所在的类 step3：聚好类后，重新计算每个聚类的中心点位置 step4：重复2,3步骤迭代，直到k个类中心点的位置不变，或者达到一定的迭代次数
2020-09-25 11:15:20
601
原创 ipynb文件转换转换为py文件
step1：pip install jupyter step2：在ipynb文件所在目录执行以下命令： jupyter nbconvert --to script *.ipynb step3：在该目录下会有和ipynb同名的py文件
2020-09-21 15:24:41
366
原创 tensorflow实现CNN
# coding=utf-8 # By author MZ import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data ## 1.首先处理数据集 ## 1.1图片大小为28*28 mnist = input_data.read_data_sets('MNIST_data_bak/', one_hot=True) ## tf.InteractiveSession()是在运行计算图的时候可以插入计算图
2020-09-14 10:50:33
167
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人