矜持的小牙刷-CSDN博客

原创基于百度AI的微博内容情感分析

基于百度AI的微博内容情感分析在使用代码之前，需要先去百度AI官网注册一个账号，获取秘钥。from aip import AipNlpimport pandas as pdimport numpy as npimport timeimport random""" 你的 APPID AK SK """#需要注册百度AI账号APP_ID = ''API_KEY = ''SECRET_KEY = ''client = AipNlp(APP_ID, API_KEY, SECRET_KEY)

2020-06-23 09:35:01 633

原创数据挖掘项目1：泰坦尼克号生存率预测

泰坦尼克号生存率预测数据来源：Kaggle数据竞赛写这个博客的目的，之前自己做了几个数据挖掘的项目，现在整理一下，记录一下过程。也希望可以分享出来和大家交流交流。项目的基本思路：1.认识数据，看看数据中的类型，数据的格式，是否有缺失值之类的。2.处理数据，处理数据中的缺失值，异常值，离群点等。3.特征工程，一个模型好不好，和特征工程做的好不好有很大的联系。最近在做毕业设计----高速...

2019-01-12 18:00:17 3818 7

原创李宏毅机器学习笔记01

线性回归好记性不如烂笔头，梳理了一下知识点，方便自己忘记时，巩固知识首先是机器学习的三个步骤：Step1: ModelStep2: Goodness of FunctionStep3: Find the best functionStep1:本次是分析宝可梦（神奇宝贝！！！）进化前的CP值对进化后的CP值的预测。线性回归的分析，这里先假设model是f(xncp) = b + w...

2018-11-13 19:53:38 580

原创 Python学习笔记，KNN算法简单应用

KNN算法什么是KNN算法？个人觉得比较通俗的解释是：有几个类别，已经分好了，现在又来了一个数据，这个数据应该归为哪一类的，像哪个不就归哪一类吗。怎么个像法呢？举例说一下：比方说我老家在离安徽，江西，浙江都比较近，那么我是哪个省的呢？这里排除政治划分，就考虑距离因素。比方我是在A城市，安徽有B,C,D三个城市；江西有E,F,G三个城市；浙江也有H,I,J三个城市。那么我可以分别计算一下A到各...

2018-10-23 22:44:29 220

原创 Python学习笔记，主成分分析法

主成分分析整理整理自己学习python过程中的知识点，主成分分析法。首先为什么需要主成分分析呢？比方说：记得高一时，一到期末就会有八门课的考试，而这八门课的成绩对你的成绩排名影响比重是不一样的。语文不怎么拉得开分，而数学的话对排名的影响还是比较大的。从这里面可以看出，八个特征值对你最终排名的贡献率是不一样的。这里我们就需要用到主成分分析法。将数据进行降维来分析，避免一些无用功。接下来介绍一下...

2018-10-23 13:59:47 950 1

原创 Python学习笔记，51job进一步分析

分析北京，上海，深圳，杭州，南京，无锡的工资情况思路：1.在爬虫中，爬取了地名，我们可以通过for循环+if语句来筛选各地的工资；2.将数据清洗的程序，封装为一个函数，方便使用；3.将直方图和饼图程序也封装为函数；4.进行数据可视化分析；以下为代码：import pymysqlimport pandas as pdaimport numpy as npyimport reim...

2018-10-22 12:08:07 448

原创 Python学习笔记，51job数据可视化

数据可视化篇思路：1.画直方图分析，各个工资段人数分析；2.画饼图分析，各工资占百分比分析；有了数据后，可视化比较简单，一下是代码：#初步统计，整理为直方图，方便观察#设置直方图组距avg_max = max(avg)avg_min = min(avg)#极差avg_rg = avg_max - avg_min#组距avg_dst = avg_rg/50#设置参数avg...

2018-10-22 11:53:27 1320

原创 Python学习笔记，51job数据清洗篇

数据清洗篇思路：1.主要分析的python资薪情况。而工资会有几种情况，如万/月；万/年；千/月；万以上/年；万以上/月；这明显就不方便我们分析。在这个我们统一转化为10k/月的形式进行分析。2.明确目标，这里使用split,replace,lambda来进行数据清洗。还是先上代码：import pymysqlimport pandas as pdaimport numpy as n...

2018-10-22 11:44:26 1806 2

原创 Python学习笔记，51job爬虫篇

Python学习笔记，数据分析（51job）学习python已经有段时间了，现在整理整理自己学习的知识本次分析的是51job中python岗位的初步分析明确思路：1.利用爬虫，获取数据2.利用pandas,numpy进行数据清洗3.利用pandas,numpy,matplotlib,jieba等库进行分析爬虫篇：1.爬虫编写：思路：1.进行浏览器模拟；2.连接数据库；3.分析...

2018-10-22 11:16:04 485 1