工具
NLP、LLM使用过程中的python、web使用工具介绍
NLP万事通
微信公众号:NLP万事通
展开
-
shell脚本采用sed批量修改文件
转载自:http://www.furion.info/81.html周末看《sed 与 awk 第二版》的时候,看到书上有个很好的shell脚本-runsed,用来批量修改文件,当然是通过调用sed来修改。原脚本代码如下:# !/bin/bashfor xdoecho “editing $x: \c”if [ “$x” = sed转载 2016-12-07 14:54:19 · 2223 阅读 · 0 评论 -
ipython notebook使用教程
转载自:http://www.cnblogs.com/giserliu/p/4997144.html在一次师兄(师兄博客地址)的例会汇报中,介绍了ipython notebook,当时觉得很酷炫,渐渐自己使用的时候才发现真的很强大。抽空整理下,找了些资料进行补充,并挨个进行了实现,留个笔记,也欢迎喜欢Python编程的码农使用。有不全的欢迎补充。IPython no转载 2016-12-07 15:09:49 · 13251 阅读 · 0 评论 -
Linux命令之查看文件占用空间大小-du,df
转载自:《du命令》-linux命令五分钟系列之三du(disk usage),顾名思义,查看目录/文件占用空间大小#查看当前目录下的所有目录以及子目录的大小$ du -h $ du -ah#-h:用K、M、G的人性化形式显示#-a:显示目录和文件 du -h tmp du -ah tmp#只查看当前目录下的tmp目录(包含子目录)的大小#查看当前目录...转载 2016-08-17 09:22:25 · 2738 阅读 · 0 评论 -
sed之思维导图
转载自:http://www.furion.info/283.html 最近工作中严重感觉不顺手,加上要给同事写个简单的小脚本,憋了半天才倒腾出来一个玩意,而且暴丑,同时也被组内大神鄙视了,说我写的什么呀,太尼玛丑了。于是我感觉有必须好好的学学sed了。 废话不多说,经过我闭关修炼N久,终于有了点成果。无图无真相,有图为证: ...转载 2016-12-07 14:50:26 · 643 阅读 · 0 评论 -
python 时间模块小结(time and datetime)
转载自:http://peiqiang.net/2014/08/15/python-time-and-datetime.html 本来想说经常会用到时间模块的,但是想想不能自欺欺人,其实我就一搞运维的,偶尔用到而已。在这偶尔的几次中,每用一次,必然google一次,很浪费时间。与其不停的google,不如下次直接看自己的文档来的方便,故有此文。一:经常使用的时间方法 1.得...翻译 2016-12-07 14:34:29 · 546 阅读 · 0 评论 -
深度学习大杀器--docker(一)
随着学习deeplearning的深入,开始使用服务器进行模型算法的部署,docker的出现解决了root权限的问题。nvidia-docker run --dns 8.8.8.8 --dns 8.8.4.4 -itd --name container -e LANG=C.UTF-8 -v /home/bhb/project:/project --workdir=/project ubunt...原创 2018-08-09 10:30:22 · 746 阅读 · 0 评论 -
Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐
转载自:https://github.com/Yixiaohan/codeparkshare Python初学者(零基础学习Python、Python入门)书籍、视频、资料、社区推荐 本文 主要 针对 零基础 想学习Python者。本文本文由@史江歌(shijiangge@gmail.com QQ:499065469)根据互联网资料收集整理而成,感谢互联网,感谢各位的分享。鸣谢!本...转载 2016-08-17 16:00:49 · 17252 阅读 · 0 评论 -
tmux中vim 主题失效
1.如下代码加入~/.zshrc中(如果用的bash就在.bash中加):alias tmux="TERM=screen-256color-bce tmux"2.如下代码加入~/.tmux.conf中(如果没有这个文件则创建它):set -g default-terminal "screen-256color" ...原创 2018-08-13 16:56:48 · 1076 阅读 · 0 评论 -
python urllib解析网页编码出错
问题描述:在用urllib解析网页的时候,有时候的编码并不是网页中的编码(如下)。 <meta http-equiv="Content-Type" content="text/html; charset=gbk" />解决过程 尝试检查编码import chardetreq = urllib2.Request(url)data = urllib2.urlopen(req).read()de原创 2017-03-17 15:50:25 · 589 阅读 · 0 评论 -
shell脚本自动清理超过指定大小的文件
转载自:http://www.furion.info/14.html先说下背景:我们线上用的squid,根据经验值如果长时间运行则缓存目录下的swap.state会慢慢变大,一旦超过60M,squid的性能就会急剧下降,因此需要定时去清理大于60M的swap.state文件。由此引出需求,查找cache目录下的所有大于60M的swap.state文件并清除,即:转载 2016-12-07 14:55:23 · 6297 阅读 · 0 评论 -
优秀Python学习资源收集汇总(强烈推荐)
转载自:http://www.cnblogs.com/lanxuezaipiao/p/3543658.html 优秀Python学习资源收集汇总(强烈推荐)Python是一种面向对象、直译式计算机程序设计语言。它的语法简捷和清晰,尽量使用无异义的英语单词,与其它大多数程序设计语言使用大括号不一样,它使用縮进来定义语句块。与Scheme、Ruby、Perl、Tcl等动态语言一样,Pyth...转载 2016-08-17 11:48:53 · 473 阅读 · 0 评论 -
Django快速开发web前端
转载自:http://www.furion.info/235.html 首先说下背景,日常工作中有很多时候都要求查询一个域名是否在白名单中(业务相关的,实际就是一个文件),所以很多的时候我们都不得不登上设备,grep 下,不存在则添加进去。一次两次还行,时间长了,也挺烦的,有时候就是简单的查询也需要登设备,未免有点繁琐了。so引入了本篇的主题,采用django 开发一个web前端去查...转载 2016-12-07 14:51:27 · 10870 阅读 · 1 评论 -
【转】VIM-如何删除缓冲区?
转自:http://blog.51cto.com/mslagee/311864先来实在的,个人用法:1、:ls 列出所有缓冲区2、:bdelete #numb 删除所要关闭的缓冲区 以下为 VIM 手册中的描述: Vim编辑器使用缓冲区这个词来描述被编辑的文件. 事实上, 一个缓冲区是一个被编辑文件的副本. 通常你会在完成对一个缓冲区的编辑后保存该文件....转载 2018-08-14 09:55:39 · 3860 阅读 · 0 评论 -
tmux的滚屏
一句话就解决了: CTRL + B 再按 \”[\”,这时就可以用光标键来操作翻页滚屏如果需要兼容vim的操作方式,那么在~/.tmux.conf加上一行:setw -g mode-keys vi ...原创 2018-08-17 18:04:38 · 11025 阅读 · 0 评论 -
技巧:快速提高 Vi/Vim 使用效率的原则与途径
转载自:https://www.ibm.com/developerworks/cn/linux/l-cn-tip-vim/ 引言 Vi 最初是由 Bill Joy 在 1976 年编码实现的。而 Vim (Vi IMproved) 则是改进的 Vi,由 Bram Moolenaar 在 1991 年开发并发布。Vi/Vim 是所有 Unix/Linux 操作系统默认配备...转载 2016-08-17 14:15:31 · 427 阅读 · 0 评论 -
Python学习路线(针对具备一定编程经验者)
相比C,C++,JAVA等编程语言,Python是易学的。但要想深入地理解Python,并熟练地编写Python风格的Python代码。我想还是有一长段路程要走的。下面即是我的一点经验总结,主要是为了整理自己学习的思路。花1-2天的时间阅读一本好的Python入门书籍,并在亲手实践书中的代码。推荐入门书籍:《A byte of Python》(中文翻译《简明Python教程》)或《Practi...转载 2016-08-17 15:51:44 · 607 阅读 · 0 评论 -
awk之思维导图
转载自:http://www.furion.info/338.html 最近线上经常遇到日志统计方面的需求,直接上python吧,嫌的有点大材小用。放着这么牛逼的awk不用搞毛的python。于是抽了段时间好好练练awk。 简单的画了张图: 同样没啥可说的,熟悉了之后发现awk用起来很爽很爽,而且常用的真的没有太多的东西。 C...转载 2016-12-07 14:40:12 · 865 阅读 · 0 评论 -
Hadoop之MapReduce快速入门
转载自:http://www.furion.info/128.html 最近有需要分析某个省份的的dns日志,从中解析出一段时间top100的域名排行,日志量一天大概有3、4G的样子,数据量还是很客观。好消息是公司已经有了完整的hadoop集群,借助hadoop分析还是很方便的,坏处是我一点都不懂hadoop,囧个。不过之前写过类似的分析dns日志脚步算是有点经验了,总之硬着头皮上吧...转载 2016-12-07 14:53:12 · 672 阅读 · 0 评论 -
安装ipython notebook及基本命令(快捷键)
转载自:http://121.42.47.99/yuenshome/wordpress/?p=2622目前基本上是Pycharm和ipython notebook结合起来做东西,ipython notebook不仅仅是因为易于调试代码以及做展示,比方说需要在用到spark的时候每次需要加载sc,就非常的不方便,但用ipython notebook只要加载一次,后面就不需要加载了转载 2016-12-07 15:18:04 · 14180 阅读 · 0 评论 -
深度学习课程资源整理
转自:http://blog.coursegraph.com/tag/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86这里整理一批深度学习课程或者深度学习相关公开课的资源,持续更新,仅供参考。1. Andrew Ng (吴恩达) 深度学习专项课程 by Coursera and deeplearning.ai这是 Andrew...转载 2017-12-06 19:58:36 · 4822 阅读 · 0 评论