- 博客(119)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 大数据之Hadoop技术入门汇总
今天，小编对Hadoop入门学习知识进行了汇总，帮助大家更好地入手大数据。小编关于Hadoop入门总共发写了12篇原创文章，文章是参照尚硅谷大数据视频教程来进行撰写的。今天，小编带你解锁正确的阅读顺序。按这个顺序阅读并去实操，相信你一定可以学会的，具体文章阅读顺序如下：第1篇：Linux常用知识总结第2篇：大数据技术之Linux实用实操（一）第3篇：Shell入门编程基础篇第4篇：Shell入门编程进阶篇第5篇：大数据思维，到底是什么？第6篇：必懂的大数据常识，get到了吗？
2021-01-29 20:19:04
396
2
原创 感恩互联网，资料免费分享
本人小硕一枚，即将就职业大数据工程师，深知学习不易。感谢互联网帮助我成长！现将研究生期间学习资料整理分享给大家。有需要的可以关注微信公众号：破晓大数据，自取资料。公众号名片如下：领取资料，回复以下关键词：请各位保持持续关注，后续微信公众号继续分享更多知识！...
2021-01-01 21:26:15
303
原创 如何在秋招春招拿到数据分析/大数据分析/大数据工程师等数据类岗位？
前言首先声明一下：本文分享，仅供参考。本博文将分享作者如何在秋招找到一份数据类岗位，希望能帮助到各位。1、秋招准备秋招和春招是应届生找工作的最佳时期，能在秋招找到工作尽量秋招，不要以为还有春招，春招是公司补漏的，岗位少招聘人数也少。废话就说这么多啦，进入正题。笔者认为秋招当从以下三个方面开始：（1）前期准备；（2）笔试/面试准备；（3）复盘。下面也将从这三个方面简单分享交流一下本人经历，若有不妥当之处，请各位指正批评，谢谢！1.1 前期准备1.1.1 摸清自己俗话说，...
2020-12-19 13:21:55
864
1
原创 大数据思维，到底是什么？
大数据思维，到底是什么？时光目录大数据思维，到底是什么？1. 大数据本质2. 大数据思维3. 应用领域4. 思维转变1. 大数据本质大数据实际上是营销的科学导向的自然演化，将不同行业或者说渠道所产生的数据进行整合。但整合不是简单的合并，而是能给企业带来商业价值。2. 大数据思维大数据思维有三个纬度——定量思维、相关思维、实验思维。第一，定量思维，即提供更多描述性的信息，其原则是一切皆可测。不仅销售数据、价格这些客观标准可以形成大数据，甚至连顾客情绪（如对色
2020-12-27 19:48:03
6786
原创 机器学习算法及常用算法的实现（python版）
网上找到相关资源，大家可以一起学习参考学习链接：https://blog.csdn.net/u013719780?viewmode=contents
2019-11-15 15:00:26
385
原创 04_python数据分析之pandas
python数据分析之pandas1.为什么要学习pandas ？上一篇：python数据分析之numpy1.为什么要学习pandas ？上一篇已经学习numpy，它已经能够帮助我们处理数据，为啥还要学pandas呢？反正多学习点没啥坏处。下一篇：...
2019-10-31 19:15:11
998
原创 03_python数据分析之numpy
python数据分析之numpy1.什么是 numpy ？2. numpy 基础2.1 numpy 创建数组（矩阵）2.2 numpy 中常见的更多数据类型2.3 数据类型的操作2.4 数组的形状2.4 数组和数的计算2.5 广播原则2.6 轴（axis）2.7 numpy 读取数据2.8 numpy 中的转置2.9 numpy 索引和切片2.10 numpy 中数值的修改2.11 numpy 中...
2019-10-31 19:04:04
743
原创 02_python数据分析之matplotlib
python数据分析之matplotlibpython之matplotlib模块1、什么是matplotlib？2、matplotlib 基本要点3、matplotlib 的散点图、直方图、柱状图4、更多的画图工具python之matplotlib模块1、什么是matplotlib？学习matplotlib有两点理由：1.能将数据进行可视化,更直观的呈现2.使数据更加客观、更具说服力...
2019-10-29 15:49:05
597
原创 01_python数据分析基础介绍
数据分析基础对数据分析进行初步认识为什么要学习数据分析什么是数据分析环境安装认识 jupyter notebook对数据分析进行初步认识数据分析是你对数据进行剖析，分析规律必不可少的环节。为什么要学习数据分析数据分析涉及各行各业，这个世界离不开数据。学习数据分析原因有三：1、有岗位需求；2、数据分析是python数据科学的基础；3、数据分析是机器学习的基础。什么是数据分...
2019-10-29 14:57:03
451
2
原创 Apriori算法与项目实战
Apriori算法与项目实战1、关联分析概述2、Apriori算法3、使用Apriori算法实现课程关联分析4、社交型网站项目实战上一篇：人工神经网络1、关联分析概述关联分析Apriori关联分析算法概述2、Apriori算法Apriori算法总结3、使用Apriori算法实现课程关联分析4、社交型网站项目实战...
2019-10-28 15:30:20
679
原创 人工神经网络
人工神经网络1、人工设计网络理论基础2、人工设计网络实现实战3、使用人工神经网络预测课程销量4、使用人工神经网络实现简单手写体数字的识别1、人工设计网络理论基础人工神经网络主要应用于分类参考链接：给初学者们讲解人工神经网络（ANN）人工神经网络概念梳理与实例演示BP神经网络深入浅出BP神经网络算法的原理2、人工设计网络实现实战3、使用人工神经网络预测课程销量4、使用人工神经网...
2019-10-24 14:56:36
488
原创 【bug修复】—— Github Push报错erro 10054解决方法
参考链接：https://www.cnblogs.com/ljq66/articles/10261601.html
2019-10-23 16:24:56
5933
原创 贝叶斯算法的应用
贝叶斯算法的应用上一篇：聚类分析实战手写体数字的识别# -*- coding: utf-8 -*-# --------------------------------------# @Time : 2019/10/23 13:25# @Author : hxf# @Email : 1870212598@qq.com# @File : bayes_use.py# ...
2019-10-23 16:13:21
453
原创 聚类分析实战
聚类分析实战1、决策树2、聚类概述3、聚类常见算法4、聚类三法5、K-means算法概述6、K-means算法实战上一篇：数据分类1、决策树# 决策树import pandas as pdfname="data/lesson.csv"dataf=pd.read_csv(fname,encoding="gbk")# print(dataf)# 提取x,y数据x=dataf.iloc...
2019-10-22 15:46:18
1502
原创 数据分类
python 数据分类1、Python数据建模概述2、Python数据分类实现过程3、常见的分类算法4、KNN算法与手写体数字识别1、Python数据建模概述数据建模指的是对现实世界各类数据的抽象组织，建立一个适合的模型对数据进行处理。在数据分析与挖掘中，我们通常需要根据一些数据建立起特定的模型，然后处理。模型的建立需要依赖于算法，一般，常见的算法有分类、聚类、关联、回归等。2、Py...
2019-10-21 14:40:31
2620
原创 文本相似性
文本相似性1、相似度计算的步骤2、实战代码1、相似度计算的步骤上一篇：文本挖掘1、读取文档2、对要计算的多篇文档进行分词3、对文档进行整理成指定格式，方便后续进行计算4、计算出词语的频率5【可选】、对频率低的词语进行过滤6、通过语料库建立词典7、加载要对比的文档8、将要对比的文档通过doc2bow转化为稀疏向量9、对稀疏向量进行进一步处理，得到新语料库10、将新语料库通过t...
2019-10-18 16:03:09
363
原创 文本挖掘
文本挖掘上一篇：数据规约# -*- coding: utf-8 -*-# --------------------------------------# @Time : 2019/10/17 9:38# @Author : hxf# @Email : 1870212598@qq.com# @File : wenben1.py# Description :文本# ...
2019-10-17 14:31:00
233
原创 数据规约
数据规约上一篇：数据转换# -*- coding: utf-8 -*-# --------------------------------------# @Time : 2019/10/16 16:24# @Author : hxf# @Email : 1870212598@qq.com# @File : shuju5.py# Description :数据规约...
2019-10-16 17:05:37
764
原创 数据转换
数据转换1、 简单变换2、数据规范化3、离散化4、属性构造上一篇：数据探索与数据清洗1、 简单变换简单变换1.数据变换的目的是将数据转化为更方便分析的数据。2.简单变换常使用函数变换的方式进行，常见的函数变换包括：开方、平方、对数等2、数据规范化# -*- coding: utf-8 -*-# --------------------------------------# @...
2019-10-16 16:20:29
3865
1
原创 数据探索与数据清洗
数据探索与数据清洗1、概述2、实战上一篇：python数据可视化基础1、概述# -*- coding: utf-8 -*-# --------------------------------------# @Time : 2019/10/15 12:28# @Author : hxf# @Email : 1870212598@qq.com# @File : shu...
2019-10-15 16:19:32
474
原创 python数据可视化基础
python中数据可视化基础1、numpy 模块2、 pandas 模块3、数据读取与导入4、matolotlib 模块本文主要讲解python的数据可视化基础，内容包括：numpy、pandas、matolotlib。1、numpy 模块# -*- coding: utf-8 -*-# --------------------------------------# @Time :...
2019-10-14 21:19:00
606
原创 网络爬虫基础总结
网络爬虫基础总结网络爬虫1. 爬虫简介网页结构合理的创建标题，有助于目录的生成2.BeatufulSoup 解析网页3.更多请求/下载方式4.加速你的爬虫5.高级爬虫这篇文章是对莫烦pyhton爬虫基础课进行一个总结，详细教程大家可以参考学习官网：https://morvanzhou.github.io/tutorials/data-manipulation/scraping/网络爬虫对于网...
2019-10-08 12:45:55
2247
原创 python基础学习总结
python基础学习主要记录自己学习莫烦python基础课的学习。学习链接：https://morvanzhou.github.io/tutorials/python-basic/basic/主要内容：基础知识多进程多线程窗口视窗 Thinter1. 基础知识安装基本使用print 功能基础数学运算变量 variablewhile 和 for循环whil...
2019-10-03 10:56:24
374
原创 室内定位（指纹定位算法系列）
系列内容：https://www.cnblogs.com/rubbninja/tag/%E5%AE%A4%E5%86%85%E5%AE%9A%E4%BD%8D%E7%B3%BB%E5%88%97/
2019-07-22 19:40:24
8644
原创 pycharm使用报错解决方法汇总
1.Pycharm：ImportError:DLL load failed解决方法参考链接1：https://blog.csdn.net/bianjun1075/article/details/77803395参考链接2：https://www.jianshu.com/p/92064b2b5d262.SyntaxError: Non-ASCII character '\xe8' in ...
2019-04-14 18:36:14
2157
原创 第7章 贝叶斯分类器
前言 博主初次接触机器学习，记录个人学习历程。内容可能有诸多重复，但是我尽量用自己的话来讲，觉得写得还行就点赞转载。写博客的好处有二：一是总结学习内容，二是记录学习历程与同道这交流。在此，也希望读者能有一点点收获吧！如果不对的地方，还请多多指教！ 上一篇 ...
2019-02-25 15:37:02
210
1
原创 第6章 支持向量机
前言 博主初次接触机器学习，记录个人学习历程。内容可能有诸多重复，但是我尽量用自己的话来讲，觉得写得还行就点赞转载。写博客的好处有二：一是总结学习内容，二是记录学习历程与同道这交流。在此，也希望读者能有一点点收获吧！如果不对的地方，还请多多指教！ 上一篇 神经网络概述 《机器学习》第六章讲的是关于支持向量机这一方面，内容上包括：间隔与支持向量机、对...
2019-02-25 15:27:24
188
原创 第5章 神经网络
前言 博主初次接触机器学习，记录个人学习历程。内容可能有诸多重复，但是我尽量用自己的话来讲，觉得写得还行就点赞转载。写博客的好处有二：一是总结学习内容，二是记录学习历程与同道这交流。在此，也希望读者能有一点点收获吧！如果不对的地方，还请多多指教！ 上一篇 决策树概述 《机器学习》第五章讲的是关于神经网络这一方面，内容上包括：神经元模型、感知机与多层...
2019-02-25 15:24:46
571
原创 第4章 决策树
前言 博主初次接触机器学习，记录个人学习历程。内容可能有诸多重复，但是我尽量用自己的话来讲，觉得写得还行就点赞转载。写博客的好处有二：一是总结学习内容，二是记录学习历程与同道这交流。在此，也希望读者能有一点点收获吧！如果不对的地方，还请多多指教！ 上一篇 第3章 线性模型4.1基本流程 决策树是一类常见的机器学习方法，是一种基本的分类...
2019-02-24 18:32:11
486
原创 定位论文中设计的名词
射频识别（RFID）射频识别，RFID（Radio Frequency Identification）技术，又称无线射频识别，是一种通信技术，可通过无线电讯号识别特定目标并读写相关数据，而无需识别系统与特定目标之间建立机械或光学接触。...
2019-02-23 21:07:43
190
原创 惯性室内导航入门之PDR （步行者航位推算）
前言 PDR的应用基础是基于RSSI的室内定位，进行室内导航与航迹规划。 室内定位相关知识惯性导航概述 惯性导航是一种不借助外力（接收本体之外的信号）的自主性导航，你只要知道自己的初始位置，知道自己的初始朝向，知道自己每一时刻如何改变了朝向，知道自己每一时刻相对朝向是怎样走的，这样就能得到每时每刻自己的位置。什么是惯性导航 带...
2019-02-23 19:39:08
26499
原创 第3章 线性模型
本章内容为《机器学习》第3章线性模型的阅读笔记参考资料1 参考资料2 参考资料3 参考资料41. 什么是线性回归线性回归：通过拟合因变量yy和自变量x⃗ x→的最佳线性关系来预测目标变量。最佳拟合通过尽量缩小预测的线性表达式和实际观察结果间的距离总和来实现。没有其他位置的拟合比该位置生成的错误更少，该拟合是最佳拟合。2. 基本形式：给定d个属性的实例 x=(x1,x2,...
2019-02-23 19:08:33
445
原创 第2章 模型评估与选择
2.1经验误差与过拟合错误率 = a个样本分类错误/m个样本精度 = 1 - 错误率误差：学习器实际预测输出与样本的真是输出之间的差异。训练误差：即经验误差。学习器在训练集上的误差。泛化误差：学习器在新样本上的误差。 过拟合：学习器把训练样本学的”太好”，把不太一般的特性学到了，泛化能力下降，对新样本的判别能力差。必然存在，无法彻底避免，只能够减小过拟合风险。欠拟合...
2019-02-23 13:50:46
607
原创 第1章 绪论
1、引言 讲在前面，整个机器学习篇的参考书《机器学习》，是由清华大学周志华教授编写的，俗称西瓜书。 周志华：关于机器学习的一点思考 AI World 2018 世界人工智能峰会全程回顾 参考的学习资料汇总博客 介绍机器学习的文章网上有很多，有很多已经写得相当好了，比如这篇：从机器学习谈起，值得好好看看。 机器学习能让我们...
2019-02-22 21:50:59
327
原创 opencv学习（二十六）：人脸检测
准备工作：找到分类器：方法：安装opencv软件包，或者把此文件放到根目录用pip安装的opencv不带分类器，所以要下载完整版的，可去官网下载安装，分类器位置在opencv\build\etc\haarcascades\haarcascade_frontalface_alt_tree.xml一、图片中的人脸检测代码如下（采用的第2个方法） #导入cv模块import...
2018-12-08 16:17:38
531
原创 opencv学习（二十五）：分水岭算法
代码如下：#导入cv模块import cv2 as cvimport numpy as np# 分水岭算法def water_image(): print(src.shape) blurred = cv.pyrMeanShiftFiltering(src, 10, 100) # 去除噪声 # gray\binary image 灰度/二值化图像 ...
2018-12-08 15:25:08
393
原创 opencv学习（二十四）：开闭操作
代码如下：#导入cv模块import cv2 as cvimport numpy as np#开操作,删除小的干扰快def open_demo(image): print(image.shape) gray = cv.cvtColor(image, cv.COLOR_BGR2GRAY) # ret, binary = cv.threshold(gray, 0...
2018-12-08 14:59:07
519
1
原创 opencv学习（二十三）：形态学操作
图像的形态学处理 数学形态学（Mathematical morphology）是一门 建立在格论和拓扑学基础之上的图像分析学科，是数学形态学图像处理的基本理论。其基本的运算包括：腐蚀和膨胀、开运算和闭运算、骨架抽取、极限腐蚀、击中击不中变换、形态学梯度、Top-hat变换、颗粒分析、流域变换等。 膨胀、腐蚀、开运算和闭运算是数学形态学的四个基本运算，它们在二值图...
2018-12-08 14:46:56
676
原创 opencv学习（二十二）：轮廓发现
引言 当我们通过阈值分割提取到图像中的目标物体后，我们就需要通过边缘检测来提取目标物体的轮廓，使用这两种方法基本能够确定物体的边缘或者前景。接下来，我们通常需要做的是拟合这些边缘的前景，如拟合出包含前景或者边缘像素点的最小外包矩形、圆、凸包等几何形状，为计算它们的面积或者模板匹配等操作打下坚实的基础。 轮廓发现是是基于图像边缘提取的基础，寻找对象轮廓的方法，所以边缘...
2018-12-08 10:13:27
753
2
原创 opencv学习（二十一）：圆检测
检测原理：参考链接：https://www.cnblogs.com/ssyfj/p/9275977.html#一houghcircles方法 https://blog.csdn.net/zhaocj/article/details/50454847实例演示：代码如下：#导入cv模块import cv2 as cvimport nump...
2018-12-07 19:48:42
320
建模算法.zip
2019-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人