qq_30843221的博客

【论文会议】IJCAI2018【论文作者及机构】(1) Zhiyong Cheng: 南洋理工大学(2) Ying Ding: Vipshop研究院(3) Xiangnan He（何向南）: 南洋理工大学(4) Lei Zhu: 山东师范大学(5) Xuemeng Song: 山东大学(6) Mohan Kankanhalli: 南洋理工大学注：何向南是推荐领域的大牛人物，其代表...

前言最近小组内一个师妹的毕业课题是做关于虚假新闻（Fake News Detection）的检测，正好我愁着自己的课程作业要做什么方面的综述，于是灵机一动，就将两个事情拉在一起吧，哈哈。后来借着师妹的手收集了近年来关于虚假新闻的文献(不一定全，请见谅哈），具体如下：AAAIDRIMUX: Dynamic Rumor Influence Minimization with User Exper...

IntroductionThe study of Finding frequent item-sets and association rules is an important part of Data Mining , which has been widely applied to optimize marketing strategies, enhance the performance o

前言听完smp比赛各队伍的技术分享后, 回来实验室后用了一周的时间去复刻第一名,第二名关于任务二的做法.任务二的研究对象为csdn技术论坛的用户，根据他们的博客行为和博客内容，以及用户与用户之间的关系，分析用户的主要兴趣点。比赛给定的兴趣标签空间为42个兴趣类别，兴趣类别之间呈现明显的不平衡分布。在这个过程中, 我学习到了非常多的东西. 不过遗憾的是, 到最后也无法达到他们训练出来的效果, 估计某些

安装mysqldb包sudo apt-get install MYSQL相关编程代码conn = MySQLdb.connect(host='127.0.0.1',port=3306, user='root',passwd='iiip', db='moviedb',charset='utf8')cur = conn.cursor()sql = "select movie_id from movi

虽然过去我主持了很多数据挖掘相关的项目, 但smp是我第一次参加的数据挖掘类型比赛.经历了一个多月的煎熬, 我想我也积累了许多宝贵的经验和教训,而这比赛对我最大的锻炼是心态上的成熟, 让我学习了如何在困境中冷静思考,在绝境中寻求希望.迎接新领域与新知识不管是比赛还是项目,我们总会遇到未知的盲区.关于如何冲破盲区, 不同人有不同的看法. 我个人的做法是先寻求这样问题的类似解决方案, 论文或博客, 并记

import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Comparator;import org.apache.s

安装的工具包sklearn: sudo pip install sklearn numpy: sudo pip install numpy scipy: sudo pip install scipy matplotlib : sudo pip install matplotlibsklearn的官网教程http://scikit-learn.org/stable编程代码示范#coding=ut

python遍历文件夹下的路径import osfor path, dirnames, filenames in os.walk(filepath)python中shell命令执行os.system(shell)

前言最近一段时间都在处理电影领域的数据, 而电影票房预测是电影领域数据建模中的一个重要模块, 所以我们针对电影数据做了票房预测建模.前期工作一开始的做法是将这个问题看待成回归的问题, 采用GBDT回归树去做. 训练了不同残差的回归树, 然后做集成学习. 考虑的影响因子分别有电影的类型, 豆瓣评分, 导演的 影响力, 演员的影响力, 电影的出品公司. 不过预测的结果并不是那么理想, 准确率为真实值的0

文件操作:1.将多个文件合并为单一个文件： cat file1.txt file2.txt > file.txt 2.用sed删除空白行：sed -i ‘/^$/d’ filename 3.用sort加uniq 删除重复项： sort -n filnename| uniq > filename 4.解压 tar zxvf 文件名.tar.gz, 压缩 tar zcvf 文件名.tar.gz 目

#coding=utf-8from pymongo import *IP = "localhost"PORT = 27017class MyMongoDB: '''成员变量''' client = None ##连接数据库的对象 db = None ## 指定的的数据库 collection = None ## 制定的文档 '''构造函数'''

关于对mongodb的操作:终端连接mongo命令: mongo关闭数据库：sudo service mongodb stop 开启数据库 sudo service mongodb start关于对文档集合的操作: ( 缺乏键的约束)查看文档集合: show collections; 创建文档集合: db.createCollection(“quincyDB”, {“name”: “qu

1 关于NOSQL的介绍问：什么是NOSQL ?NOSQL ，全称为Not Only SQL，不仅仅是SQL，并不是反对SQL的意思（No SQL）。它是针对传统的关系型数据库（RDMB）的不足，提出了全新的数据库管理架构理念。问：为什么会有NOSQL？随着数据规模的不断增长，许多企业需要的数据库架构业务面临以下挑战： (1) 支持大量用户同时在线高并发访问； (2) 在分布式服务架构下能够得到

GBDT模型GBDT模型的介绍，我主要是参考博客：http://blog.csdn.net/w28971023/article/details/8240756 在这里，我主要归纳以下几点要素： 1.GBDT中的树都是回归树； 2.回归树节点分割点衡量最好的标准是叶子个数的上限； 3.GBDT的核心在于，每个棵树学的是之前所有树结论和的残差，这个残差就是一个加预测值后能得到真实值的累加量；

本篇博客主要讲述如何利用spark的mliib构建机器学习模型并预测新的数据，具体的流程如下图所示： 加载数据对于数据的加载或保存，mllib提供了MLUtils包，其作用是Helper methods to load,save and pre-process data used in MLLib.博客中的数据是采用spark中提供的数据sample_libsvm_data.txt，其有一百个数据

1.安装jdk先下载jdk: https://pan.baidu.com/s/1o7MqvKA 解压到本地: 方法一：直接点击右键，点“提取此文件 方法二：使用命令行sudo tar -zxvf jdk1.8.0_91.tar.gz -C jdk1.8.0_91 复制到指定路径，我使用的是/opt: 命令行：sudo cp -r jdk1.8.0_91 /opt/jdk1.8.0_91

关于mysqlMySQL是一个关系型数据库管理系统那个，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。ubuntu 下载与安装mysql sudo apt-get install mysql-server //安装数据库的服务器 sudo apt-get install mysql-client

什么是mongodbmongodb是nosql中的一种，其 将数据存储为一个文档，数据结构由键值（key，value）对组成。MongoDB文档类似于JSON对象。字段值可以包含其他文档，数组及文档数组。 安装mongodb我主要采用的是ubuntu系统，只需输入以下命令行，即可安装mongodbsudo apt-get install mongodb一开始装好系统会自动运行mongodb程序，

朴素贝叶斯模型朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。至于朴素贝叶斯模型的原理部分，这里就不讲啦，有疑惑的朋友，我推荐看李航的《统计学习方法》中的第四章。我在这里主要谈论的是基于Java版的spark贝叶斯模型。应用场景相对于LR，SV