- 博客(81)
- 收藏
- 关注
RSS订阅转载 Python-argparse-命令行与参数解析
import argparseimport numpy as npimport cv2import osimport numpy.random as nprfrom dface.core.utils import IoUimport dface.config as configdef parse_args(): par...
2019-03-09 10:25:00
207
转载 本地idea开发mapreduce程序提交到远程hadoop集群执行
https://www.codetd.com/article/664330https://blog.csdn.net/dream_an/article/details/84342770通过idea开发mapreduce程序并直接run，提交到远程hadoop集群执行mapreduce。简要流程：本地开发mapreduce程序–>设置yarn ...
2019-01-12 15:50:00
285
转载 hadoop开发setjar方法
屏蔽//job.setJar("/Users/sumeng/IdeaProjects/cloudHadoop/out/artifacts/cloudHadoop_jar/cloudHadoop.jar");job.setJarByClass(WordCount.class);报错：Error: java.lang.RuntimeException: ja...
2019-01-12 15:04:00
446
转载 idea打jar包-MapReduce作业提交到hadoop集群执行
https://blog.csdn.net/jiaotangX/article/details/78661862https://liushilang.iteye.com/blog/2093173转载于:https://www.cnblogs.com/SuMeng/p/10259041.html
2019-01-12 11:09:00
353
转载 解决wordcloud导出图片不清楚
使用WordCloud生成词云图片本文详细介绍参考自：https://www.jianshu.com/p/fdd0acccf1c5wordcloud开源项目：https://github.com/amueller/word_cloud调整图片清晰度：scale属性，该值越大越清楚，我设置的是scale=32。# 设置词云属性wordcloud=WordC...
2018-11-12 22:19:00
5294
转载 安装android studio
studio版本：3.0.1系统mac安装过程参考：（链接一）https://blog.csdn.net/tangjie134/article/details/79481581（链接二）https://blog.csdn.net/tangjie134/article/details/79495204问题一：Gradle下载很慢直接下载一个Gradle....
2018-09-20 00:09:00
73
转载 Spark SQL慕课网日志分析（1）--系列软件(单机)安装配置使用
来源： 慕课网 Spark SQL慕课网日志分析_大数据实战目标： spark系列软件的伪分布式的安装、配置、编译 spark的使用系统： mac 10.13.3 /ubuntu 16.06，两个系统都测试过软件： hadoop，hive，spark，scala，maven hadoop伪分布式、spark伪分布式详细： soft...
2018-06-19 22:05:00
157
转载 pandas--对axis=0,axis=1的理解
Stackoverflow.com是程序员的好去处，本公众号将以pandas为主题，开始一个系列，争取做到每周一篇，翻译并帮助pandas学习者一起理解一些有代表性的案例。今天的主题就是Pandas与Numpy中一个非常重要的参数：axis.(轴）Stackoverflow问题如下：python中的axis究竟是如何定义的呢？他们究竟代表是DataFrame的行还是列？考...
2018-06-19 21:31:00
171
转载 启动secondarynamenode时报错
环境：mac系统 + hadoop2.6.0-cdh5.7.0伪分布式问题一：在启动hdfs的secondarynamenode时，报错。正常情况：sumengdeMacBook-Pro:sbin sumeng$ ./start-dfs.sh18/06/11 21:35:00 WARN util.NativeCodeLoader: Unable to loa...
2018-06-11 22:19:00
1483
转载 Spark --idea无法new scala class
问题：无法新建Scala class解决：1、下载插件 setting-->Plugins-->安装scala插件-->提示重启idea-->自动提示你安装scala sdk2、在project sturcture中，Globale libraries-->+-->出现了scala sdk，选择-->这块有点记不清了，就试着来...
2018-06-08 08:59:00
151
转载 vscode 编写c++
参考了配置文件之前的操作：https://www.cnblogs.com/lianshuiwuyi/p/8094388.html配置文件具体内容：https://blog.csdn.net/qq547276542/article/details/73823570?locationNum=5&fps=1转载于:https://www.cnblogs.com/SuMeng...
2018-06-07 18:29:00
36
转载 Python自然语言处理工具小结
http://www.cnblogs.com/baiboy/p/nltk2.htmlchrome 优化 ：https://droidyue.com/blog/2016/10/31/google-chrome-costs-a-lot-of-memory/涛哥，知识图谱https://wenku.baidu.com/view/9c956feaac51f01dc281e...
2018-06-04 09:50:00
44
转载 anaconda
终极参考：https://zhuanlan.zhihu.com/p/32925500文章最后是我的具体实践步骤，环境是ubuntu16.04一、 什么是 Anaconda？ Anaconda 是 Python 的一个发行版，如果把 Python 比作 Linux，那么 Anancoda 就是 CentOS 或者 Ubuntu。它解决了Python开发者的两大痛点。第...
2018-06-01 18:58:00
154
转载 Python 优雅的操作字典
Python 中的字典是Python中一个键值映射的数据结构,下面介绍一下如何优雅的操作字典.来源：https://www.linuxzen.com/python-you-ya-de-cao-zuo-zi-dian.html1.1 创建字典Python有两种方法可以创建字典,第一种是使用花括号,另一种是使用内建 函数dict>>> info = {}...
2018-05-30 15:33:00
65
转载 python 在不同层级目录import 模块的方法
使用python进行程序编写时，经常会使用第三方模块包。这种包我们可以通过python setup install 进行安装后，通过import XXX或from XXX import yyy 进行导入。不过如果是自己遍写的依赖包，又不想安装到python的相应目录，可以放到本目录里进行import进行调用；为了更清晰的理清程序之间的关系，例如我们会把这种包放到lib目录再调用。本篇就针...
2018-05-30 10:41:00
128
转载 git--公司中暂时用到的命令操作
使用的版本控制工具 git + phabricator arcPhabricator是软件开发管理工具，集成了code review, task tracking, version control, wiki等功能，我们主要用来提code review（代码审查）。代码提交与审核步骤：1、打开pycharm 的 terminal2、做了代码修改之后，git sta...
2018-05-18 13:02:00
52
转载 ubuntu-修改环境变量
系统：unbuntu 16.04方法：1、直接修改vim ~/.bashrc 或者 gedit ~/.bashrc2、source ~/.bashrc注意：以后绝对不要再修改全局的了，只针对自己这个用户修改单个用户对应的系统变量。原理：1、Linux系统默认使用的shell为bash，在shell启动的时候会读取根据情况读取.bash...
2018-05-17 18:16:00
134
转载 爬虫学习笔记（4）--拉钩网
当通过命令行，根据crawl模板生成spider时， 执行scrapy genspider -t crawl lagou www.lagou.com 出现如下报错（图三）： 原因是项目中已有的一句代码：from items import JobBoleArticleItem,ArticleItemLoader 就是因为命令行格式不能像pycha...
2018-05-02 17:41:00
73
转载 redis---在CentOS6.5下安装与配置
本文详细介绍redis单机单实例安装与配置，服务及开机自启动。如有不对的地方，欢迎大家拍砖o(∩_∩)o（以下配置基于CentOS release 6.5 Final， redis版本3.0.2 [redis版本号中间位是偶数的是稳定版，奇数的为非稳定版]）一．安装redis1)下载redis安装包可去官网http://redis.io，也可通过wget...
2018-05-02 10:48:00
49
转载 eclipse(1)----ubuntu下的安装与配置
eclipse的安装与配置1、eclipse官网下载，最新版本eclipse-jee-oxygen-3-linux-gtk-x86_64.tar.gz2、tar包存在~/Download/下，解压到/soft/下3、配置环境变量【/etc/environment】 (1)添加 .....:/soft/eclipse (2)$>source /etc/env...
2018-04-29 19:30:00
50
转载 hive与hbase
作者：有点文链接：https://www.zhihu.com/question/21677041/answer/185664626来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：Hba...
2018-04-29 19:20:00
48
转载 mysql----启动报错
今天在xshell上启动mysql时遇到这个错误：[root@mini1~]#servicemysqlstartStartingMySQLSUCCESS![root@mini1~]#mysql-uroot-prootERROR2002(HY000):Can'tconnecttolocalMySQLserverthroughsocket...
2018-04-23 16:41:00
578
转载 序列化+protobuff+redis
背景：当redis里面需要存储 “key-字符串，value-对象” 时，是不能直接存对象，而是需要将序列化后的对象存进redis。redis没有实现内部序列化对象的功能，所以需要自己提前序列化对象。序列化介绍：序列化的方法有很多，比如java原生序列化(需要实现Serializable接口)、json序列化、protobuff序列化。java原生序列化：https:...
2018-04-21 11:28:00
760
转载 爬虫学习笔记（2）--创建scrapy项目&&css选择器
一、手动创建scrapy项目---------------- 安装scrapy： pip install -i https://pypi.douban.com/simple/ scrapy 1、创建项目 (article_spider) E:\PyCharmWorkspace>scrapy startproject ArticleSpider（项目...
2018-04-16 20:11:00
85
转载 日常随笔
刷题----------------找实习、工作之前要刷编程题，经常是给你一张纸让你写刷题的网站：leedcode lintcode 牛客网转载于:https://www.cnblogs.com/SuMeng/p/8759962.html...
2018-04-09 15:09:00
42
转载 spark学习（2）--hadoop安装、配置
环境: 三台机器 ubuntu14.04 hadoop2.7.5 jdk-8u161-linux-x64.tar.gz （jdk1.8）架构： machine101 ：名称节点、数据节点、SecondaryNaemnode（辅助名称节点）、ResourceManager、NodeManger machine102、machine103...
2018-03-29 20:13:00
111
转载 Tensorflow学习笔记（1）--安装
安装1、ubuntu 14.042、清华大学开源软件镜像站：https://mirrors.tuna.tsinghua.edu.cn/help/tensorflow/（要求sudo权限，如果报错，重启再来一遍）pip install \ -i https://pypi.tuna.tsinghua.edu.cn/simple/ \ https://mirro...
2018-03-28 10:04:00
49
转载 spark学习（1）--ubuntu14.04集群搭建、配置（jdk）
环境：ubuntu14.04jdk-8u161-linux-x64.tar.gz1、文本模式桌面模式切换ctrl+alt+F6 切换到文本模式ctrl + alt +F7 /输入命令startx切换到桌面模式2、更改Ip地址、主机名/etc/hostname- 改主机名称/etc/hosts -host文件/etc/network/inter...
2018-03-26 17:44:00
100
转载 VMware Workstation虚拟机Ubuntu中实现与主机共享（复制和粘贴）
VMware Workstation中安装虚拟机Ubuntu后，开始都不能与主机实现共享，即相互之间能实现复制粘贴的功能。要解决问题，只需要安装VMvare tools后然后重启虚拟机Ubuntu即可。在windows虚拟机下，在安装该工具时有安装向导，但在Linux系统（Ubuntu）下需要通过terminal命令窗口安装。第一步 在Ubuntu菜单上选择VM->insta...
2018-03-26 11:15:00
186
转载 Docker部署JavaWeb项目实战
林炳文Evankaka原创作品。转载请注明出处http://blog.csdn.net/evankaka 摘要：本文主要讲了如何在Ubuntu14.04 64位系统下来创建一个运行Javaweb应用程序的Docker容器。 一、下载镜像、启动容器1、下载镜像先查看镜像[html]view plaincopy...
2018-03-18 21:28:00
47
转载 流量分析系统----实现-echarts模拟迁移(bmap.js/china.js)
china.js: <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <!-- 引入 jquery --> <script src="js/jquery-1.8...
2018-03-14 15:35:00
152
转载 流量分析系统---echarts模拟迁移中 ，geocoord从后台获取动态数值
由于在echarts的使用手册中说了 {Object} geoCoord (geoCoord是Object类型) ，所以不能用传统的字符串拼接或数组的方式赋值。在后台的controller中用Map<String, double[]> geocoordMap=new HashMap<String, double[]>();来存储地理经纬度数据，例如：String ...
2018-03-14 15:12:00
432
转载 使用idea2016导出web项目war包
第一步配置Web Application:Exploded（已经配置的可以跳到第二步）：打开project structure（默认的快捷键是Ctrl+Alt+Shift+S），依次选择Artifacts》+》Web Application:Exploded》From Module选择项目相应的module: 第二步配置Web Application:A...
2018-03-13 15:57:00
82
转载 真正
logMonitorstorm部分------------- 通过Maven构建，生成一个包含依赖的single jar文件（不要把Storm的依赖包添加进去） 1、修改storm的main入口 2、修改MessageFilterBolt 3、添加<scope>provided</scope> ...
2018-03-07 21:55:00
56
转载 谷歌机器学习速成课程---降低损失 (Reducing Loss)：随机梯度下降法
在梯度下降法中，批量指的是用于在单次迭代中计算梯度的样本总数。到目前为止，我们一直假定批量是指整个数据集。就 Google 的规模而言，数据集通常包含数十亿甚至数千亿个样本。此外，Google 数据集通常包含海量特征。因此，一个批量可能相当巨大。如果是超大批量，则单次迭代就可能要花费很长时间进行计算。包含随机抽样样本的大型数据集可能包含冗余数据。实际上，批量大小越大，出现冗余的可能性...
2018-03-02 19:59:00
97
转载 谷歌机器学习速成课程---3降低损失 (Reducing Loss)：学习速率
正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置。例如，如果梯度大小为 2.5，学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习编程人员会花费相当多的时间来调整学习速率。如果您选择的学习速率过小，就会花费太...
2018-03-02 19:33:00
189
转载 谷歌机器学习速成课程---3降低损失 (Reducing Loss)：梯度下降法
迭代方法图（图 1）包含一个标题为“计算参数更新”的华而不实的绿框。现在，我们将用更实质的方法代替这种华而不实的算法。假设我们有时间和计算资源来计算w1的所有可能值的损失。对于我们一直在研究的回归问题，所产生的损失与w1的图形始终是凸形。换言之，图形始终是碗状图，如下所示：图 2. 回归问题产生的损失与权重图为凸形。凸形问题只有一个最低点；即只存在一个...
2018-03-02 19:29:00
231
转载 谷歌机器学习速成课程---3降低损失：迭代方法
迭代学习可能会让您想到“Hot and Cold”这种寻找隐藏物品（如顶针）的儿童游戏。在我们的游戏中，“隐藏的物品”就是最佳模型。刚开始，您会胡乱猜测（“w1的值为 0。”），等待系统告诉您损失是多少。然后，您再尝试另一种猜测（“w1的值为 0.5。”），看看损失是多少。哎呀，这次更接近目标了。实际上，如果您以正确方式玩这个游戏，通常会越来越接近目标。这个游戏真正棘手的地方在于尽可...
2018-03-02 17:46:00
64
转载 谷歌机器学习速成课程---2深入了解机器学习(Descending into ML)
1、线性回归人们早就知晓，相比凉爽的天气，蟋蟀在较为炎热的天气里鸣叫更为频繁。数十年来，专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录。Ruth 阿姨将她喜爱的蟋蟀数据库作为生日礼物送给您，并邀请您自己利用该数据库训练一个模型，从而预测鸣叫声与温度的关系。首先建议您将数据绘制成图表，了解下数据的分布情况：图 1. 每分钟的鸣叫声与温度（摄氏度）的关系。...
2018-03-02 17:26:00
58
转载 谷歌机器学习速成课程---1框架处理
本文内容摘自 谷歌机器学习免费课程MLCC：https://developers.google.com/machine-learning/crash-course/============================================================================================================...
2018-03-02 17:01:00
67
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人