2015年04月_breeze_lsw

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创 DataFrame使用mysql数据

错误提示： Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/sparkSql?user=root&password=123 配置驱动的时候有两个大坑1.首先你要在SPARK_CLASSSPATH中加入mysql

2015-04-26 08:28:55 4229

原创 mysql备忘

安装mysqlsudo apt-get install mysql-servermysqlCLImysql -u root -pmysql各种操作(启动关闭等)/etc/init.d/mysql mysql配置地址/etc/mysql/my.conf修改mysql访问权限GRANT ALL PR

2015-04-26 00:09:26 576

原创 Spark K-Means

K-Means（K均值）介绍K-Means是被应用的最广泛的基于划分的聚类算法，是一种硬聚类算法，属于典型的局域原型的目标函数聚类的代表。算法首先随机选择k个对象，每个对象初始地代表一个簇的平均值或者中心。对于剩余的每个对象，根据其到各个簇中心的距离，把他们分给距离最小的簇中心，然后重新计算每个簇平均值。重复这个过程，直到聚类准则则函数收敛。准则函数一般采用两种方式：第一种是全局误差函数，

2015-04-25 12:40:42 1998

原创 Spark朴素贝叶斯(naiveBayes)

朴素贝叶斯（Naïve Bayes）介绍 Byesian算法是统计学的分类方法，它是一种利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯分类算法可以与决策树和神经网络分类算法想媲美，该算法能运用到大型数据库中，且方法简单，分类准确率高，速度快，这个算法是从贝叶斯定理的基础上发展而来的，贝叶斯定理假设不同属性值之间是不相关联的。但是现实说中的很多时候，这种假设是不成

2015-04-21 18:52:26 6991 1

原创 Hbase HRegionServer启动后自动关闭

突然发现HBASE无法使用了。然后看到在分布式的情况下，节点上的HRegionServer启动后自动关闭。同步时间就能解决这个问题。网上同步时间1. 安装ntpdate工具sudo apt-get install ntpdate2. 设置系统时间与网络时间同步sudo ntpdate cn.pool.ntp.org

2015-04-09 13:49:30 3390 1

spark_prometheus_metrics.json

博客https://blog.csdn.net/lsshlsw/article/details/82670508 spark_prometheus_metrics.json

2018-09-13

scala for spark

因为spark是用scala编写的，这里做了点总结，方便看spark源码。

2014-09-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人