- 博客(24)
- 资源 (8)
- 收藏
- 关注
原创 OpenCV计算机视觉入门案例
案例一://显示图像#include<opencv2\opencv.hpp>#include<iostream>using namespace std;using namespace cv;int main(){ Mat image = imread("E:\\8.jpg"); //存放自己图像的位置 imshow("显示图像", image); waitKey(0
2017-11-23 05:24:10 1644
原创 Python机器学习之决策树(理论说明)
机器学习第一章:决策树、随机森林、GDBT和XGBoost 主要内容: 决策树Decision Tree * 介绍 * 熵Entropy:衡量划分子树的标准 H(S) = -P1log(P1)-P2log(P2) (以2为底) * 信息增益 Information Gain * 常见算法 * 过度拟
2017-11-19 21:04:59 468
原创 Python机器学习之XGBoost从入门到实战(代码实现)
# -*- coding: utf-8 -*-__author__ = 'gerry'''' XGBoost案例之蘑菇是否有毒 任务:根据蘑菇的22个特征判断蘑菇是否有毒 数据介绍: 总样本数:8124 -可食用:4208,51.8% -有毒:3916,48.2%
2017-11-19 21:00:13 4915 1
原创 Python机器学习之XGBoost从入门到实战(基本理论说明)
Xgboost从基础到实战XGBoost:eXtreme Gradient Boosting * 应用机器学习领域的一个强有力的工具 * Gradient Booting Machines(GBM)的优化表现,快速有效 —深盟分布式机器学习开源平台(Distributed machine learning Community,DMLC)的分支 —DML
2017-11-19 20:54:50 1158
原创 Python机器学习之决策树案例
# -*- coding: utf-8 -*-__author__ = 'gerry'# 先导入所有的classimport xgboostfrom numpy import *from sklearn import model_selectionfrom sklearn.metrics import accuracy_score# load 数据集dataset = loadtxt('
2017-11-19 20:49:59 861
原创 Python机器学习numpy依赖包特征之间的相关性
# -*- coding: utf-8 -*-__author__ = 'gerry'''' @time 10 Nov 2017 @auther gerry 特征之间的相关性 期望:衡量样本某个特征列取值范围的平均值 方差:衡量样本某个特征列取值范围的离散程度 协方差矩阵和相关系数:衡量样本特征列之间线性相关性'''from
2017-11-16 03:33:07 1733
原创 Web前端H5之CSS样式总结
1、CSS介绍 概念:层叠样式表或者级联样式表(Cascading Stylr Sheets) 层叠;CSS特性 CSS作业:设置网页结构的样式(改变html标签的样式),通过CSS给HTML标签设置属性到改变样式 CSS书写位置介绍: * 内嵌式写法:书写在HTML的head位置 <style type="text/css">
2017-11-15 22:06:18 3578
原创 Web前端H5之HTML标签总结(二)
1、基本的标签二; * meta标签的用法; <meta charset="UTF-8">:防止页面乱码 <meta name="keywords" content="女装、男装">:设置网页关键字,不是给用户用的,对搜索引擎提供帮助 <meta name="discription" content="设置网页描述信息">:设置网页描述信息,不
2017-11-14 15:02:59 365
原创 Web前端H5之HTML标签总结(一)
1、Web标准介绍 * web应用领域: PC端 移动端 * 网页介绍 ** 组成:文字、图片、按钮、视频、音频。。。。这些元素组成 ** web标准:制作网页的规范 结构标准(HTML) 表现标准(CSS:美化网页) 行为标准(JavaScript
2017-11-13 04:30:06 2508
原创 Python机器学习案例之朴素贝叶斯分类--文本、邮件分类
# -*- coding: utf-8 -*-__author__ = 'gerry''''朴素贝叶斯分类:计算出每个样本在各个类别中的概率,然后划分类别 优点:在数据较少的情况下仍然有效,可以处理多类别问题 缺点:对于输入数据的准备方式较为敏感 适合数据类型:标称型数据 贝叶斯准则:计算条件概率的方法 已知P(x|c),求P(c|x)
2017-11-13 03:47:42 923 1
原创 Python机器学习ufunc函数
# -*- coding: utf-8 -*-__author__ = 'gerry'import numpy as npimport matplotlib.pyplot as pltimport mathimport datetimefrom mpl_toolkits.mplot3d import Axes3D# ufunc函数# ufunc韩式是一种能对数组的每个元素进行运算的函数,
2017-11-08 01:56:18 730
原创 Python机器学习:numpy之矩阵操作命令
Python机器学习:numpy之矩阵操作命令__author__ = 'gerry'from numpy import *import scipy.spatial.distance as dist # 导入scipy距离公式# Linalg线性代数库# 矩阵的行列式A = mat([[1, 2, 4, 5, 7], [9, 12, 11, 8, 2], [9, 1, 3, 2, 1], [9,
2017-11-06 20:42:37 681
原创 Python机器学习:numpy的应用之基本操作命令
Python机器学习:numpy的应用之基本操作命令# -*- coding: utf-8 -*-__author__ = 'gerry'import numpy as np#1.2.3矢量化编程与GPU运算#矢量化编程:# 基于矩阵的算法都是针对向量的,也称为矢量,为了简化的逻辑,需要一种新的编程方法,处理基于运算,这就是所谓的矢量化编程#矢量化编程的一个重要的特点就是可以直接将数学公式转换为
2017-11-06 20:40:59 397
原创 Hadoop,Java,MySQL,Linux,ML,DL,Spark大数据跳槽班视频下载
hadoop 大数据跳槽班(从入门到精通)-北风网 Java架构师视频教程老男孩MySQL DBA高级运维教程老男孩Linux视频教程吴恩达机器学习,人工智能,深度学习教程张飞电子设计视频教程 MATLAB从入门到精通(从初级到高级循序渐进) 网店装修视频教程本页视频均为本人已经研究过的无秘高清视频,对自己做编程开发的入门到经验积累具有很大的影响,现在给大家分享出来,有意向的加QQ:14067
2017-07-13 15:51:44 476
原创 Hive的安装部署、测试、功能架构、表数据加载、导出、查询
一、Hadoop的三大发行版本 * Apache 在企业实际应用中,并不多,是最原始(最基础版本)。 * Cloudera impala flume,hue, 1. Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要包括支持、咨询服务、培训。
2016-07-23 16:18:05 1129
原创 Hadoop分布式环境搭建
Hadoop 2.x部署 *local Mode *Distributed Mode *伪分布式 一台机器,运行所有的守护进程 从节点DataNode、NodeManager *完全分布式 有多个从节点 DataNodes NodeMan
2016-07-21 21:49:23 1273
原创 Hadoop的优化(Shuffle过程)
1. Shuffle过程(以wordcount为例)Shuffle过程:即洗牌或弄乱 Collections.shuffle(List):随机打乱参数list里面的元素顺序。 MaoReduce里的Shuffle:描述着数据从map task输出到Reduce task输入阶段过程。 Shuffle过程 *step1: i
2016-07-21 20:20:43 1607
原创 Hadoop 2.x源码包编译
编译的环境: 1、必须在Linux系统面编译 2、编译使用的JDK版本必须是1.6以上 3、编译使用的Maven版本必须是3.0以上 4、必须连接互联网,对网络要求非常高(重点) 编译步骤: 第一步:解压hadoop源码jar包 第二步:解压JDK,配置环境变量 第三步:配置Maven,并使profile文件生
2016-07-19 23:00:46 376
原创 Hadoop环境搭建(二)
一、YARN的配置 启动命令 $ sbin/yarn-daemon.sh start resourcemanager $ sbin/yarn-daemon.sh start nodemanager 二、配置MapReduce三、运行MapReduce程序案例要求:写MR程序的一定要有输入和输出的路径准备数据 $ vi wc.input hadoop hdfs
2016-07-19 22:33:07 617
原创 Hadoop环境搭建(一)
一、Linux环境部署工具准备(虚拟机、操作系统、远程工具)修改IP:NAT模式设置固定IP 主机名:vi /etc/sysconfig/network 映射: vi /etc/hosts 创建普通用户 useradd xxx passwd xxx关闭防火墙 # vi /etc/sysconfig/selinux 改为disabled禁用,然后重启
2016-07-19 21:37:14 600
原创 SpringMVC框架搭建流程
案例:springmvc+spring+jdbc1. 导入jar文件 a) springmvc org.springframework.web-3.0.5.RELEASE.jar org.springframework.web.servlet-3.0.5.RELEASE.jar b) spring aopalliance.jar
2016-07-19 20:36:38 528
原创 Hadoop的产生背景
hadoop的背景 数据处理步骤: 通过运用Python网页爬虫或者Hadoop的Flume框架实时收集数据>数据存储>运用Hadoop、Hive、Spark查找关键字进行数据统计>统计之后的数据由HDFS导入到MySQL中进行存储>运用SpringMVC建立与MySQL联系,对数据进行Web前端展示(主要是HighChart软件)。对于存储:Google采用多台机器,使用分布式的概念去存
2016-07-18 19:07:15 2169
原创 Spark日志分析案例
SparkCore日志分析主程序package com.ibeifeng.bigdata.spark.app.core import org.apache.spark.{SparkContext, SparkConf}/** * Created by XuanYu on 2016/7/11. */object LogAnalyzer { def main(args: Array[St
2016-07-18 08:46:04 5806 1
原创 linux基本命令
用户和组 1、创建用户名 比如useradd beifeng 2、设置用户密码,比如passwd beifeng 3、删除用户:userdel 用户名 选项:-r 彻底删除用户信息 4、查看用户 id+用户名 5、退出用户:exit设置主机名 *暂时性设置# hostname hadoop-senior.ibeife
2016-07-16 15:38:17 1241
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人