学习空间
qq_34299554
这个作者很懒,什么都没留下…
展开
-
《机会的数学》--陈希孺
《机会的数学》–陈希孺 机遇或偶然性之所以存在,是由于人类的知识的局限性 数学中研究的种种模型,往往包含了对现实生活的简化 主观概率是认识主体根据其所掌握的知识,信息和证据,而对某种情况出现可能性大小所做的数量判断 统计学是关于收集和分析带随机性误差的数据的科学与艺术 ...转载 2019-07-16 12:29:23 · 1452 阅读 · 0 评论 -
Java正则表达式的学习
自学大数据愁的是无法获得大量的数据,所以就动起了爬虫的念头,这样子就能从网页上获取大量的结构,非结构化数据。 java爬虫首先就要了解正则表达式。这里用到的都是一些比较简单的。 首先可以将可以把正在表达式划分为组,这样的话,组就是最小的单元。 每一个组可以有两部分构成(set:frequence);这里的set和 frequece只是一个变量而已,中间的“:”实际上也不存在,就是为了读者能够看舒服...原创 2018-09-30 19:44:42 · 152 阅读 · 1 评论 -
linux 命令整理
1,用户与组命令 useradd -g 组名 用户名 ----创建一个用户并将其放入某组 useradd -g 组名 用户名 ----将已存在用户放入组中 groups 用户名 ----查看某用户属于那一组 2, pwd ----查看当前路径 ps ...原创 2018-10-08 16:13:52 · 108 阅读 · 0 评论 -
hive博客学习
1,在Hive 中如何实现高效的JOIN查询 学习博客:https://blog.csdn.net/liyaohhh/article/details/50697519 a,map端进行join b,正常连接,表的大小接近,需要优化 c,先排序然后算hash放到bucket,再连接 2,Hive数据倾斜产生和解决办法 学习博客:https://blog.csdn.net/ccorg/article/...原创 2018-10-12 15:09:40 · 200 阅读 · 0 评论 -
Hbase博客学习
1,Hbase简介 学习博客:https://blog.csdn.net/xu__cg/article/details/61932003 2, Hbase数据模型 学习博客 :https://blog.csdn.net/whdxjbw/article/details/81101200原创 2018-10-14 16:00:47 · 120 阅读 · 0 评论 -
人工智能第四次课
IBM WASTON waston 是一个平台 主要有三个方向的服务: audio NLP 图像处理 audio的语音转文字 Waston Discovery Serivice 应用场景: 搜索数据爬取 Convesion support document format ,pdf,html,json Enrichment 1. 提取文章关键词还有置信度 2. 情感检测 如何分析数据 1....原创 2019-07-16 13:02:37 · 177 阅读 · 0 评论 -
python数据可视化实战学习
python 数据可视化实战 一,matplotlib 样式参数动态修改 rcParams() rc() 与代码分离的样式配置文件,当前工作目录下新建一个matplotlibrc 二,读取csv文件 import csv 或者 import pandas 三,清理数据中异常值 异常值并不是非真实值,而是离群点 四,平滑噪声 噪声值与异常值是不一样的,噪声值不是我们想要的数据,是混进...原创 2019-07-16 12:35:00 · 334 阅读 · 0 评论 -
大数据存储与处理--Spark编程
Spark编程实战 一,RDD RDD:resilient distributed dataset RDD两种基本操作:Transformation;Action 二,Transformation filter() map() flatMap():与map()的区别是,可以使转化之后的rdd的element数量改变,将转化变成的二维,再展平,平铺成一维 sample() distinct(...原创 2019-07-16 12:34:13 · 254 阅读 · 0 评论 -
用Python写网络爬虫
python网络爬虫实战 一,背景调研 robots.txt Sitemap:网站地图 估算网站大小,可以用Google Search估算 识别网站所用技术,可以用python中builtwith模块 查看网站所有者,用python中whois模块 简单网络爬虫模块:usrlib2 ...原创 2019-07-16 12:33:40 · 141 阅读 · 0 评论 -
Scala基础语法学习及提高
1,总体语法与java类似 2,增加了函数的定义,函数是一种继承与Trait类的子类,函数可以作为参数传入的方法中,而方法不行 3,方法的定义 object objectName{ def functionName(parmName : parmType,…) :returnType ={ functionBody; return returnName; } } 不加“=”就是没有实现,就是抽象方...转载 2018-11-18 17:21:12 · 134 阅读 · 0 评论 -
Spark 博客学习
1,Spark架构介绍 https://blog.csdn.net/a2011480169/article/details/52999745 2,原创 2018-11-18 17:21:47 · 138 阅读 · 0 评论 -
面向对象设计模式java代码详解学习博客
了解面向对象设计模式,使代码更加符合工程模范,看源码也能更容易理解为什么如此设计 参考博客:https://blog.csdn.net/u011814346/article/details/71080847原创 2018-11-18 17:22:17 · 174 阅读 · 0 评论 -
无线电频谱分析
无线电频谱分析 一. 小知识点 功率谱密度(power spectual dentity:W/HZ) 功率谱的计算需要首先对信号作自相关,然后FFT原创 2018-11-18 17:23:28 · 1245 阅读 · 0 评论 -
tensorflow编程实战
TensorFlow编程实战 一,tf.constant() and so on tf.constant(value,share,dtpye,name,verify_shape) value:初始化值 shape:n1n2n…nk(0<k<) verify_shape ? tf.zeros() tf.ones() tf.ones_like() tf.fill() tf.lin_sp...原创 2018-11-18 17:25:41 · 175 阅读 · 0 评论 -
大数据博客学习
书签菜单 最近使用的标签 Mozilla Firefox 帮助和教程 自定义 Firefox 加入进来 关于我们 Ubuntu and Free Software links Ubuntu Ubuntu Wiki (community-edited website) Make a Support Request to the Ubuntu Community Debian (...转载 2018-09-16 16:42:10 · 248 阅读 · 0 评论