灬皇帝的新装灬的博客

Pandas是Python数据分析库。Pandas把结构化数据分为了三类：Series、DataFrame、Panel，分别可以理解为 MySQL 表的一列、表、库。1.引入：        可以使用pycharm搜索安装，超级简单。import numpy as npimport pandas as pd2.导入数据或创建数据：df_1 = pd.read_csv(...

1.整体程序，没有问题，copy可以运行。path需要路径下需要放几个英文文档。2.spark ml程序，spark 2.X，Scala 2.11.X，jdk 1.83.内容大概为生成英文文档的关键词提取。4.主要注意spark ml和mlib的区别，我尽量使用的是最新的，ml + dataframe + spark SQL5.流程：去读英文文档、分词、过滤停用词、创建word2Vec、结...

一.spark ml 协同过滤推荐算法相似度算法在Spark MLlib中提供了余弦相似度的分布式实现，org.apache.spark.mllib.linalg.distributed包中的IndexedRowMatrix是一个分布式矩阵类，其中提供了一个columnSimilarities方法用于计算该矩阵各列之间的余弦相似度。预测值计算：采用加权求和的方法计算预测值.Step 1...

一、眼动仪介绍：1.介绍：      眼动仪是心理学基础研究的重要仪器。眼动仪用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。现有不同厂家生产的多种型号的眼动仪，如 EyeLink眼动仪、EVM3200眼动仪、faceLAB4眼动仪、EyeTrace XY 1000 眼动仪。       早在19世纪就有人通过考察人的眼球运动来研究人的心理活动，通过分...

随机森林+逻辑回归+贝叶斯1.GBDT的思想使其具有天然优势可以发现多种有区分性的特征以及特征组合。使用其来自动发现有效的特征、特征组合，来作为LR模型中的特征，以提高 CTR预估（Click-Through Rate Prediction）的准确性2.这个程序主要是为了提升特征的准确性，筛选有效特征。其次是锻炼混合算法的使用，避免单一算法的局限性。大家可以按照路子，随意修改或者组合自己想...

Spark UDF：关于UDF：UDF：User Defined Function，用户自定义函数。创建测试用DataFrame// 构造测试数据，有两个字段、名字和年龄略。。。// 注册一张user表userDF.createOrReplaceTempView("user") Spark Sql - UDF用法下面的UDF的功能是计算某列的长度，该列的类型为S...

一、什么是用户画像用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼的特征标识。通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理。用户画像是对现实世界中用户的建模，用户画像应该包含目标，方式，组织，标准，验证这5个...

package com.keyboard.pro_testimport org.apache.log4j.{Level, Logger}import org.apache.spark.ml.feature.StringIndexerimport org.apache.spark.mllib.linalgimport org.apache.spark.mllib.linalg.distr...

一、配置详情：1.1 监控频次监控频次：300s/次1.2 监控页面查看地址WEB监控页面地址：http://XXX:2812/需要账号密码登录1.3系统监控项配置详情：check system myhost.mydomain.tldif loadavg (1min) > 4 then alertif loadavg (5min) > 2...