- 博客(28)
- 收藏
- 关注
RSS订阅原创 centos7.6安装superset
前言需要实现kylin连接superset做数据可视化解决过程cd ./Downloads下载anaconda安装文件 wget https://repo.continuum.io/archive/Anaconda2-4.4.0-Linux-x86_64.sh赋予可执行权限 chmod +x ./naconda2-4.4.0-Linux-x86_64.sh安装Anaconda ....
2019-08-28 18:28:26
388
原创 人工智能第四次课
IBM WASTONwaston 是一个平台主要有三个方向的服务：audioNLP图像处理audio的语音转文字Waston Discovery Serivice应用场景：搜索数据爬取Convesionsupport document format ,pdf,html,jsonEnrichment1. 提取文章关键词还有置信度2. 情感检测如何分析数据1....
2019-07-16 13:02:37
156
原创 python数据可视化实战学习
python 数据可视化实战一，matplotlib 样式参数动态修改rcParams()rc()与代码分离的样式配置文件，当前工作目录下新建一个matplotlibrc二，读取csv文件import csv 或者 import pandas三，清理数据中异常值异常值并不是非真实值，而是离群点四，平滑噪声噪声值与异常值是不一样的，噪声值不是我们想要的数据，是混进...
2019-07-16 12:35:00
307
原创 大数据存储与处理--Spark编程
Spark编程实战一，RDDRDD：resilient distributed datasetRDD两种基本操作：Transformation；Action二，Transformationfilter()map()flatMap()：与map()的区别是，可以使转化之后的rdd的element数量改变，将转化变成的二维，再展平，平铺成一维sample()distinct(...
2019-07-16 12:34:13
229
原创 用Python写网络爬虫
python网络爬虫实战一，背景调研robots.txtSitemap:网站地图估算网站大小，可以用Google Search估算识别网站所用技术，可以用python中builtwith模块查看网站所有者，用python中whois模块简单网络爬虫模块:usrlib2...
2019-07-16 12:33:40
132
转载 《机会的数学》--陈希孺
《机会的数学》–陈希孺机遇或偶然性之所以存在，是由于人类的知识的局限性数学中研究的种种模型，往往包含了对现实生活的简化主观概率是认识主体根据其所掌握的知识，信息和证据，而对某种情况出现可能性大小所做的数量判断统计学是关于收集和分析带随机性误差的数据的科学与艺术...
2019-07-16 12:29:23
1413
转载 虚拟机CentOS启动报错-entering emergency mode解决办法
转载自：https://blog.csdn.net/csdn_yym/article/details/87970960解决方法只需要在这里的shell键入一条命令：xfs_repair -v -L /dev/dm-01执行完成后即可重启，恢复正常。此命令的作用是强制清除日志，不会删除自己的文件。...
2019-07-16 12:25:44
2290
原创 自然辩证法的学习
自然辩证法课的学习【哲学】：为动词，爱智，追求明智【辩证法】：历史的和批判的，对现存事物肯定的理解中包含对事物否定的理解，即对现存事物的必然灭亡的理解【解决问题的步骤】：1，【发现问题之所在】：确定问题域2，【理清问题之由来】：追溯问题的来源（将问题精炼抽象为核心问题）与解题之历程（对这个核心问题的解决办法有哪一些，数学里面的解集），联系实际（在核心问题的实际应用背景），确定观点（确定...
2019-04-19 10:05:56
1393
原创 vue-resource中 http.request 设置headers
vue-resource中 http.request 设置headers 一般现在都用axois来作ajax请求，但是因为之前的项目用的都是vue-resource，而且最近时间比较紧，没有空再学axois。 遇到的问题是在一个django作后端，vue作前端的项目，因为django的原因，vue的post请求发送的数据无法接受到，查了一下原因是header的ContentType设置...
2019-02-24 09:44:36
7193
原创 tensorflow编程实战
TensorFlow编程实战一，tf.constant() and so ontf.constant(value,share,dtpye,name,verify_shape)value:初始化值shape:n1n2n…nk(0<k<)verify_shape ?tf.zeros()tf.ones()tf.ones_like()tf.fill()tf.lin_sp...
2018-11-18 17:25:41
150
原创 无线电频谱分析
无线电频谱分析一.小知识点功率谱密度（power spectual dentity：W/HZ）功率谱的计算需要首先对信号作自相关，然后FFT
2018-11-18 17:23:28
1235
原创 面向对象设计模式java代码详解学习博客
了解面向对象设计模式，使代码更加符合工程模范，看源码也能更容易理解为什么如此设计参考博客：https://blog.csdn.net/u011814346/article/details/71080847
2018-11-18 17:22:17
164
原创 Spark 博客学习
1，Spark架构介绍https://blog.csdn.net/a2011480169/article/details/529997452，
2018-11-18 17:21:47
108
转载 Scala基础语法学习及提高
1，总体语法与java类似2，增加了函数的定义，函数是一种继承与Trait类的子类，函数可以作为参数传入的方法中，而方法不行3，方法的定义object objectName{def functionName(parmName : parmType,…) :returnType ={functionBody;return returnName;}}不加“=”就是没有实现，就是抽象方...
2018-11-18 17:21:12
125
原创 Hbase博客学习
1，Hbase简介学习博客：https://blog.csdn.net/xu__cg/article/details/619320032， Hbase数据模型学习博客 ：https://blog.csdn.net/whdxjbw/article/details/81101200
2018-10-14 16:00:47
112
原创 hive博客学习
1,在Hive 中如何实现高效的JOIN查询学习博客：https://blog.csdn.net/liyaohhh/article/details/50697519a，map端进行joinb，正常连接，表的大小接近，需要优化c，先排序然后算hash放到bucket，再连接2,Hive数据倾斜产生和解决办法学习博客：https://blog.csdn.net/ccorg/article/...
2018-10-12 15:09:40
188
原创 centos7下安装office办公软件并生成桌面文件
win10虽好，但是还是不够流畅，而且由于学习的需要，必须使用liunx。centos7以其开源和免费而且性能和界面都十分令我满意，所以就选用centos7系统。但是有一个坑点就是软件源比较旧，很多软件无法安装比如zeal，mendeley等等。 偏偏最近需要查看ppt，弄了好久都没有办法实现查看ppt，气的我想一旦找到方法查看ppt的话，我一定写篇博客帮助和我一样无助的小伙伴...
2018-10-10 21:38:06
10482
1
原创 centos7下定时提醒（两步走，程序员健康之路一小步）
众所周知，程序员经常要在电脑前连续奋战，但是就坐伤身，最明显的不过就是对于颈椎，腰肌的劳损，眼睛看久了，也都花了。其实这些也都不是问题，就是长时间维持一个状态才使得身体吃不消。只要有一个定时提醒的功能，就可以大大减轻这种伤害。现在改用centos系统，很多软件用不了，也不理想，所以就想比较简单的实现一个定时提醒功能：半小时提醒一次，每一次会创建一个全屏幕terminal，提醒你放下手头工作，休息...
2018-10-08 22:26:13
341
原创 mysql my.cnf设置sock=/var/lib/mysql/mysql.sock报错can't connect local mysql /tmp/mysql.sock
系统环境 centos7+mysql5.6之前配置mysql时虽然能用，但只限于本地模式，无法远程访问，表现为：mysql -u ‘root’@‘X.X.X.X’ -p报错提示：无法连接’root’@‘X.X.X.X’@‘localhost’ 很明显是有一个什么配置无法解析’root’@'X.X.X.X’为-u root -h ‘X.X.X.X’;但是很不幸当初没有及时发现，又因为mysql...
2018-10-08 16:36:06
2627
原创 linux 命令整理
1，用户与组命令useradd -g 组名 用户名 ----创建一个用户并将其放入某组useradd -g 组名 用户名 ----将已存在用户放入组中groups 用户名 ----查看某用户属于那一组2，pwd ----查看当前路径ps ...
2018-10-08 16:13:52
100
原创 JSON.parseArray()提示exepct '[', but error, pos 1, json :
爬虫快速解析json数据的时候会用到fastjson包中的JSON.parseArray(String text)，就是将text中json类型数据解析到数组上，需要自己建立一个jsonModel来载入数据。第一次用的时候，出现如下错误：Exception in thread “main” com.alibaba.fastjson.JSONException: exepct ‘[’, but e...
2018-10-06 16:37:09
18941
原创 爬虫时遇到Socket is closed
最近想要点数据，就想自学爬虫自己爬点数据来用。https://blog.csdn.net/qy20115549/article/details/52203722上面这条链接是根据京东商城网址解析网页查找里面有关书的信息，比如id，name，price，然后存入本地数据库的一个小demo。但是根据这个教程的花自己还是遇到了一个问题，就是运行到String entity=EntityUtils....
2018-10-02 23:06:29
742
原创 Java正则表达式的学习
自学大数据愁的是无法获得大量的数据，所以就动起了爬虫的念头，这样子就能从网页上获取大量的结构，非结构化数据。java爬虫首先就要了解正则表达式。这里用到的都是一些比较简单的。首先可以将可以把正在表达式划分为组，这样的话，组就是最小的单元。每一个组可以有两部分构成（set：frequence）；这里的set和 frequece只是一个变量而已，中间的“：”实际上也不存在，就是为了读者能够看舒服...
2018-09-30 19:44:42
127
1
原创 centOS7 kernel下安装VMware Workstation14错误提示找不到kernel headers
为了安装hadoop分布式虚拟机集群，安装了vm，install之后提示“C header files matching your running kernel were not found.”出现的原因分析：我是按照这篇blog升级kerenel 内核的参考地址：https://blog.csdn.net/kikajack/article/details/79396793该作者kernel...
2018-09-28 10:23:56
1883
转载 win10 和centOs7双系统下，centos挂载ntfs分区报错“symbol lookup error: /sbin/mount.ntfs: undefined symbol: ntfs_x”
在window10下安装完centOS7，本来想利用linux系统吃内存少的特点，建立虚拟机集群，但是当初没有考虑好，就给centOS7分配了50G内存，所以就想把虚拟机系统放到window10的其他分区，但是centOS7怎么都挂不上，装了fuse，装了ntfs-3g都没有办法，后来无意看到另一篇文章是federa系统上出现的同样问题，拿过来借鉴下，竟然可以，他山之石可以攻玉啊。转载自：htt...
2018-09-27 19:29:00
2613
3
原创 ubuntu16.04+Vmware14+macosx10.7.5()+xcode4.6 成功安装mac虚拟机下xcode
首先，安装ubuntu16.04；然后，安装vmware14;接着网上找macosx懒人版，一般后缀名是.cdr;安装macosx中间会出现一些问题，比如新建虚拟机的时,候要将hardware 设置为SCSI，process core 至少设置为２;这样的话不出差错的话，一般会开始安装系统，在系统初始化的时候会让你选择将系统安装到哪里，这个时候弹出的对话框中没有选项让你选，你必须把vmwa...
2018-09-24 13:29:46
858
转载 大数据博客学习
书签菜单最近使用的标签 Mozilla Firefox帮助和教程 自定义 Firefox 加入进来 关于我们Ubuntu and Free Software linksUbuntu Ubuntu Wiki (community-edited website) Make a Support Request to the Ubuntu Community Debian (...
2018-09-16 16:42:10
240
原创 vim与系统剪贴板的粘帖
如果在命令行模式下输入 :reg 中没有发现+ 寄存器的话，需要执行 sudo apt-get install vim-gnome， 然后在命令行模式下输入 :”+p ，如果没有粘帖的话，可以按 ctrl+: ,这样就可以粘贴系统剪贴板中的数据 了． 系统：ubnatu16.04 ...
2018-09-16 16:39:22
726
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人