数据挖掘之旅
文章平均质量分 72
大数据时代,数据挖掘是最关键的工作。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。
极客范儿
技术决定下限,审美决定上限
展开
-
2023第十届大唐杯省赛心得体会总结
第十届“大唐杯”全国大学生新一代信息通信技术大赛结束,分享一下2023第十届大唐杯省赛的相关经验。年初研究生组就开始报名了,所以这回也是摩拳擦掌,加上大唐杯的认可度很高,今年的情况只会更卷,需要掌握一定的通信知识和通信基础,今年的比赛好好看了《工科专业经济决策的原理及运用》和《设计开发流程与工程项目管理与运用》原创 2023-04-19 21:02:23 · 8466 阅读 · 16 评论 -
华为FusionSphere虚拟化解决方案
我有幸跟随导师一起进行为期三天的华为FusionSphere虚拟化的培训。FusionSphere是华为公司面向多行业客户推出的云操作系统产品。基于OpenStack架构开发,整个系统专门为云设计和优化,提供强大的虚拟化功能和资源池管理、丰富的云基础服务组件和工具、开放的API接口等。FusionSphere可以帮助客户水平整合数据中心物理和虚拟资源,垂直优化业务平台,让企业的云计算建设和使用更加简捷。原创 2018-01-17 15:53:42 · 14451 阅读 · 0 评论 -
R语言基础
R作为一门统计语言,其灵活性不言而喻。由于课程要求,两个都进行使用,但是Matlab用的更加熟练一些。如果单纯把它当一门语言去学习,会发现它并没有什么优势。所以,学习R最好得有统计学的相关知识,否则不如学习其他语言。R最让人着迷的地方是,它有很多统计学牛人编写的R包,这极大丰富了R语言本身。1、安装包和加载包R和Python一样,功能强大是因为R具备丰富的功能包。在R中使用一下packages命令安装一个新的包,比如ggplot2包,注意:包的名字需要用引号括起来。install.packages("原创 2021-06-10 15:07:32 · 230 阅读 · 0 评论 -
第二届Techo TVP 开发者峰会有感
2017年对Serverless感受不大,到2018年Serverless热度很好,这次ServerlessDays China 2021有一说一,虽然抽奖跟午餐透露着活动方的贫穷,但是皓叔的演讲还是干货满满的,不虚此行。鹅厂确实厉害了,避免太黑盒,难调试,门槛高等传统Serverless调试痛点,支持云端函数调试,Serverless,Empower More。以前对无服务的理解停留在fass技术,进一步理解serverless技术架构,成长路线为:单体→微体→serverless技术架构。serve原创 2021-06-05 20:40:00 · 257 阅读 · 1 评论 -
Python爬虫的urllib.error.HTTPError: HTTP Error 403/418解决方案
文章目录一、伪装成浏览器进行请求二、随机获取浏览器信息三、总结豆瓣网一般是新手容易上手的爬虫网站,并不是因为它反爬机制做的不够好,而是因为它采取了内容开放的运营策略,愿意分享给我们它的数据。以前是很容易爬取豆瓣网的电影信息,最近可能是豆瓣网升级了反爬机制,直接请求数据会发生urllib.error.HTTPError: HTTP Error 403/418的错误#!/usr/bin/env python# coding:utf8import sysreload(sys)sys.setdefa原创 2021-05-15 11:19:03 · 2759 阅读 · 2 评论 -
Python实战:爬取豆瓣电影
春天来了,万物复苏,很多学生都要做课设项目了,又到了码农们爬虫的季节,空气中弥漫着一阵阵激情的交流声!本项目通过爬虫获取数据的基本原理和代码实现以后,通过实战巩固相应内容。 一、通用思路:找到豆瓣电影的汇总页面,整个页面都是各种电影的信息(相当于一个列表,把电影摆到一起)每一条点开后有一个详情页……原创 2021-04-15 21:56:12 · 5381 阅读 · 0 评论 -
数据库的部分依赖,完全依赖,传递依赖以及三种范式总结
规范化,数据依赖的公理系统和模式的分解是本科阶段要了解的内容,而后两者在研究生学习阶段需要加深巩固,所以对这几方面的学习做一个总结。部分函数依赖:设X,Y是关系R的两个属性集合,存在X→Y,若X’是X的真子集,存在X’→Y,则称Y部分函数依赖于X。传递函数依赖:设X,Y,Z是关系R中互不相同的属性集合,存在X→Y(Y !→X),Y→Z,则称Z传递函数依赖于X。完全函数依赖:设X,Y是关系R的两个属性集合,X’是X的真子集,存在X→Y,但对每一个X’都有X’!→Y,则称Y完全函数依赖于X。原创 2021-03-29 21:52:38 · 9708 阅读 · 3 评论 -
一卡通系统试验
由于关于RFID的实验比较少,所以尝试对RFID进行学习与实验。大一下半学期学习了c语言程序设计,可以简单运用ARDUINO语言来编写程序。我们之前没有硬件知识储备,所以最好的方式就是利用已经现成的设备来扩展项目。Arduino RFID的模块的射频读写芯片是飞利浦的 MF RC522。通过设计可以保存和写入十张学生的一卡通卡号,对已经保存起来的卡号运行通过,对不记录在案的卡号运行失败,蜂鸣器报警。原创 2020-10-10 09:12:50 · 6019 阅读 · 0 评论 -
2018腾讯广告算法大赛竞赛记录
深度学习的火热带动了各种大数据以及算法的发展。第一次参加与kaggle相似大平台的数据挖掘比赛。 从4月18号开始对相关文献进行大量的阅读,仔细研究了腾讯内部员工发布的baseline。在Kaggle比赛过程得到感受就是清晰领会到了ML和DM之间的不同:ML一般从模型或者算法出发,讲的是模型或者算法本身存在的不合理的地方,然后提出新的假设,从而去优化模型或算法。而DM是从数据本身问题本身...原创 2018-05-20 18:13:49 · 3478 阅读 · 0 评论 -
Python全栈数据工程师养成攻略
近年来大数据(BigData)的概念获得不行,python已经成为机器学习热门的工具。anaconda把与python有关的库(numpy,scipy等等)都打成一个包。pycaffe 的安装以及 notebook 环境配置是为了更方便的去使用深度学习框架。notebook 使用浏览器作为界面使用,可以编写和执行 python 代码。 从个人角度出发,在时间有限和资源有限的条件下,实现一...原创 2018-08-03 14:30:27 · 1372 阅读 · 0 评论 -
四天2018世界机器人大会带来的感触
十年后服务机器人一定是满足人类生活需求走进家庭。同时,家庭机器人在提供人类生活服务的同事,又可以通过互联网云计算大数据为整个人类和消费者提供社会商业服务(也包括社会的公共服务!) 例如,佳通机器人在家里知道你的习惯爱好,等你去了商场或者餐馆,也会即刻先收到有针对性的个性化服务。 2018世界机器人大会以 “共创智慧新动能,共享开放新时代 ” 为主题,由论坛、博览会、大赛、地面无人系统活动四大板...原创 2018-08-19 16:30:30 · 956 阅读 · 0 评论 -
大数据云端实验室项目实战-微博舆情大数据分析有感
大数据开发、只能硬件和图形图像需求增长最快,需求人员最多。对微博数据分析平台搭建,以及微博数据分析平台数据存储模块设计与实现。需要有Java功底,还应该有 Linux与Java基础 Java实现文件操作 Java实现数据库操作 Java多线程文件操作 JStask访问Hadoop服务 VisualVm访问Hadoop服务 Hadoop生态体系 大数据当前应用现状 Hadoop2....原创 2018-09-06 09:16:21 · 1485 阅读 · 1 评论