- 博客(24)
- 收藏
- 关注
RSS订阅转载 <linux> 學習map
http://mt.sohu.com/20160517/n449979876.shtml 最近看到了一篇新闻，linux之父建议找一份基于linux和开源环境的工作，确实，这已经是未来的大趋势了。今天就来聊一聊我的想法，本人8年linux运维一线经验，呆过很多互联网公司，从一线运维做到运维架构师一职，也见证了中国运维行业从无人问津到可圈可点的整个演变过程。Linux系统目前主
2016-08-08 22:12:46
288
原创 <mysql> 特殊技巧
添加新列序列號http://www.jb51.net/article/87351.htm第一种方法：select (@i:=@i+1) as i,table_name.* from table_name,(select @i:=0) as it 第二种方法： set @rownum=0;sele
2016-08-08 17:09:32
325
原创 <spark> 集群下運行範例紀錄
# 查看任一日志總條數import findsparkfindspark.init()from pyspark import SparkContext,SparkConfconf=SparkConf()conf.setMaster("spark://172.XX.XX.XX:7077")conf.setAppName("test-count")sc = SparkContext(
2016-08-05 15:20:24
286
转载 <SPARK-轉載> spark 集群运行python作业
http://blog.csdn.net/xiaolewennofollow/article/details/47171951今天尝试用刚搭建好的spark集群运行python作业，遇到了一些问题，解决了一些坑的同时也对spark集群的运作和配置方式有了一些比较浅的认识，不像之前那么没有概念了，记录如下，之后还要继续更多的对Hadoop生态圈和spark并行计算框架的探究。首先说下
2016-08-04 18:15:26
1598
转载 <python> 拿取命令列的參數值
本篇将介绍python中sys, getopt模块处理命令行参数如果想对python脚本传参数，python中对应的argc, argv(c语言的命令行参数)是什么呢？需要模块：sys参数个数：len(sys.argv)脚本名： sys.argv[0]参数1： sys.argv[1]参数2： sys.argv[2]test.py
2016-08-04 17:15:27
332
转载 <python> ftp 使用指南
http://blog.csdn.net/linda1000/article/details/8255771[python] view plain copy print?# 例：FTP编程 from ftplib import FTP ftp = FTP() timeout = 30 port =
2016-08-04 10:22:41
1449
转载 <DATA-轉載>【数据科学】教你成为数据科学“大咖”！
随着互联网的迅猛发展，在线学习逐渐成为主流，MOOC、慕课等概念如雨后春笋般涌现。以往高等学府才能接触到的计算机科学和数据科学，也随着这次风潮来到了公众面前。OSDSM，即数据科学开源课程，能够从理论和技术两方面，帮助人们学习有效利用数据的核心技能。一、利用互联网成为“大咖”随着互联网的迅猛发展，网络公开课的网站和APP等日益成熟，从听课、讨论到考试，一条龙的自学服务已经颇成规模。这些课程中，
2016-08-02 15:20:57
503
转载 <DATA-轉載>如何成为一名数据科学家？
如何成为一名数据科学家？http://daily.zhihu.com/story/3909126?from=timeline&isappinstalled=0 谢科，数据科学，机器学习，康奈尔大学PhD研究生"Data Science = statistics who uses python and lives in San Francisco"恰好
2016-08-02 15:19:14
293
原创 <hdfs>基本操作
基本操作（創件上傳刪除下載）http://zh.hortonworks.com/hadoop-tutorial/using-commandline-manage-files-hdfs/
2016-08-01 10:11:13
281
原创 <spider> 文章保存
1. Python 并发网络库 eventlet 性能测试http://www.jianshu.com/p/1798052d086e
2016-07-30 22:31:10
266
转载 <hadoop>hdfs 介紹
简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。
2016-07-29 22:28:22
214
原创 <speaking>語言提升
昨天你們問到那個素材的說都知道了，怎麼回復比較好，今天看到有兩句話覺得非常好的回答：1、進行簡單的品鑒跟分析貌似已知的經驗跟內容，有助於確保自身經驗是否在變化的市場中繼續維持正確的方向2、在分析跟總結內容上確保是否忽略新出現的關鍵點及趨勢，以及時做好應對
2016-07-29 18:34:22
195
原创 <source> 各路資源
1. gitbookhttps://www.gitbook.com/book/carolhsu/django-girls-tutorial-traditional-chiness/details
2016-07-26 23:10:55
213
原创 <data> 數據模型範例
1. 用户在线广告点击行为预测的深度学习模型http://geek.csdn.net/news/detail/91293
2016-07-26 22:55:53
384
原创 <mac>環境架設
1. python多版本設定 http://blog.csdn.net/lijiang1991/article/details/51830978
2016-07-26 22:34:44
213
原创 <spark>集群環境創建
入門配制指南 這是單機的http://blog.jobbole.com/86232/這是集群的http://www.cnblogs.com/onetwo/p/5424377.html 安裝java jdkhttp://jingyan.baidu.com/album/c74d60007b85510f6a595dfa.
2016-07-19 09:27:42
265
原创 <centos>linux 指令
系統操作指令 重開機reboot列出之前打過的指令(存在個人目錄下的 .bash_history裡面)history查看自己來源位置who安裝軟體yum install nmap使用預設參數掃瞄本機所啟用的 port(在預設的情況下， nmap 僅會掃瞄 TCP 的協定喔！ )#nmap localhost
2016-07-18 18:19:02
273
原创 <spark> 單機模式之環境創建
1. 入門指南http://blog.jobbole.com/86232/2. ipython 使用spark 環境設置http://ramhiser.com/2015/02/01/configuring-ipython-notebook-support-for-pyspark/(錯誤處理)沒有讀到設置檔http://stackoverflow.
2016-07-15 14:04:49
262
原创 <python> 匯入excel
导出 excel 时遇到的非法字符问题http://cooperluan.github.io/python/2015/01/08/pandas-daochu-excel-zhong-de-luan-ma-wen-ti/
2016-07-08 17:24:09
406
原创 <python> 多線程/多進程/異步學習
1. Python-aiohttp百万并发 (上)http://python.freelycode.com/contribution/detail/2012. Python-aiohttp百万并发 (下)http://python.freelycode.com/contribution/detail/2033. 理解python中的多线程http:/
2016-07-08 11:54:09
287
原创 <python> 簡單web框架實現
用Python写一个简单的Web框架http://www.cnblogs.com/russellluo/p/3338616.html
2016-07-01 16:16:02
238
原创 網絡爬蟲，防止被ban
@匿名爬蟲 tor pysockethttp://www.evil0x.com/posts/14147.html@防止被ban：表頭、cookies、切換iphttp://www.tuicool.com/articles/JVryQvb@useragent 池http://m.blog.csdn.net/article/details?id=357743
2016-06-08 10:20:09
318
原创 分部式爬蟲(一) 創建環境
本篇說明如何建置爬蟲的分部式環境，使用Centos 6.5，重頭開始部屬1. 首先先下載GIT說明：之後做版本控制和下載開源項目需要使用到@下載 develope toolshttp://www.linuxidc.com/Linux/2015-02/113351.htm@yum下載githttp://www.centoscn.com/image-
2016-06-03 13:24:06
274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人