- 博客(15)
- 收藏
- 关注
RSS订阅原创 爬虫管理平台 Crawlab v0.4.5 发布
前言本次修复主要集中在 Bug 修复和一些必要的优化。更新日志功能 / 优化 交互式教程. 引导用户了解 Crawlab 的主要功能. 加入全局环境变量. 可以设置全局环境变量，然后传入到所有爬虫程序中. #177 项目. 允许用户将爬虫关联到项目上. #316 示例爬虫. 当初始化时，自动加入示例爬虫. #379 用户管理优化. 限制管理...
2020-02-04 09:44:12
809
1
原创 一文多发平台ArtiPub v0.1.4发布
ArtiPub简介ArtiPub (Article Publisher的简称，意为"文章发布者")是一款开源的一文多发平台，可以帮助文章作者将编写好的文章自动发布到掘金、SegmentFault、CSDN、知乎、开源中国等技术媒体平台，传播优质知识，获取最大的曝光度。ArtiPub安装简单，提供了多种安装方式，可以一键安装使用，安装一般只要5分钟。自9月20日上线第一版v0.1.2以来，A...
2019-10-12 13:17:00
288
原创 开源一文多发平台ArtiPub v0.1.3发布
背景写技术文章是一件让人痛苦并快乐着的事情。持续输出技术知识能传播自己的优质知识给大量的开发者，互相交流各个领域的技术，让每个人都受益，写完很有成就感。但是写文章也很痛苦，因为会花大量的时间和脑力去构思文章，测试Demo代码，更麻烦的是还需要将文章复制粘贴分享到各个媒体平台，耗时费力。ArtiPub恰好解决了最后那个问题，也就是方便文章作者分享文章到各大技术媒体平台，更有效的传播共享优质知...
2019-09-25 16:27:37
360
原创 实现一个掘金Style的文章编辑器
前言我是一个掘金重度用户，不仅经常在掘金上挖掘含金量高的文章，偶尔还在掘金上创作技术文章。相信读者们也对掘金非常满意，尤其是它的文章编辑器，不仅支持Markdown编辑，而且还支持代码高亮、分屏预览、自动保存等等。本文将用React＋CodeMirror＋Showdown实现一个类似于掘金编辑器的单页应用。动图效果先不说那么多，先上动图效果吧。布局下面是掘金文章编辑器的...
2019-09-23 17:38:25
276
原创 开源一文多发平台ArtiPub，让文章随处可阅
背景很多优秀的程序员和技术人员喜欢写技术文章和技术博客，通过这样的方式分享传播知识和经验，扩大自己的知名度和影响力，吸引粉丝关注，甚至有些技术博主还通过写文章来获取广告收入，很多优秀的博主还通过这种方法获得了出版书的机会以及工作机会。因此，写技术文章是一件非常值得投入的事情，帮助了自己，也让大众受益。但是，写技术文章通常也很耗时，特别是一些优质文章，不仅需要旁征博引、构思文章结构、照顾读者...
2019-09-21 10:38:48
1370
原创 爬虫平台Crawlab核心原理--自动提取字段算法
⚠注意: 可配置爬虫现在仅在Python版本（v0.2.1-v0.2.4）可用，在最新版本Golang版本（v0.3.0）还暂时不可用，后续会加上，请关注近期更新背景实际的大型爬虫开发项目中，爬虫工程师会被要求抓取监控几十上百个网站。一般来说这些网站的结构大同小异，不同的主要是被抓取项的提取规则。传统方式是让爬虫工程师写一个通用框架，然后将各网站的提取规则做成可配置的，然后将配置工作交给更...
2019-09-21 08:45:08
957
原创 实现一个掘金Style的文章编辑器
前言我是一个掘金重度用户，不仅经常在掘金上挖掘含金量高的文章，偶尔还在掘金上创作技术文章。相信读者们也对掘金非常满意，尤其是它的文章编辑器，不仅支持Markdown编辑，而且还支持代码高亮、分屏预览、自动保存等等。本文将用React＋CodeMirror＋Showdown实现一个类似于掘金编辑器的单页应用。动图效果先不说那么多，先上动图效果吧。布局下面是掘金文章编辑器的...
2019-09-20 16:20:53
305
原创 如何打造一个上千Star的Github项目
前言每一个程序员都或多或少接触过Github，至少是听说过吧。而Github最大的好处是在于程序员可以不用付出任何费用，可以在上面参考、借鉴甚至是照搬其他人贡献的项目，因为这一切都是开源的。另外，任何一个Github用户也可以在上面对自己感兴趣的项目做出贡献。所谓贡献，就是对已有的代码进行更正、优化、开发等操作，让项目发展得越来越棒。而且，Github的Star机制让项目的受欢迎程度得到很好的...
2019-09-17 17:23:05
217
原创 爬虫管理平台Crawlab v0.3.0发布(Golang版本)
基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将Crawlab打造得更加实用，更加全面，能够...
2019-09-17 17:16:45
263
原创 爬虫平台Crawlab核心原理--分布式架构
背景Crawlab自第一版发布已经几个月了，其中经历了好几次迭代：版本从v0.1到了v0.3.0；后端语言从Python到了Golang；从最初使用Celery作为任务调度引擎，到自己开发分布式任务调度引擎；从只能运行自定义爬虫到可以运行可配置爬虫（虽然还没迁移到最新版本）；从手动部署爬虫到自动部署爬虫；从自己搭建环境到Docker部署；从手动执行任务到定时任务；等等（详情见CHANGELOG...
2019-09-17 17:01:43
1738
原创 爬虫管理平台Crawlab v0.3.0发布(Golang版本)
基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将Crawlab打造得更加实用，更加全面，能够...
2019-09-09 11:30:24
684
原创 实现一个掘金Style的文章编辑器
前言我是一个掘金重度用户，不仅经常在掘金上挖掘含金量高的文章，偶尔还在掘金上创作技术文章。相信读者们也对掘金非常满意，尤其是它的文章编辑器，不仅支持Markdown编辑，而且还支持代码高亮、分屏预览、自动保存等等。本文将用React＋CodeMirror＋Showdown实现一个类似于掘金编辑器的单页应用。动图效果先不说那么多，先上动图效果吧。布局下面是掘金文章编辑器的...
2019-09-01 22:54:22
788
原创 如何打造一个上千Star的Github项目
前言每一个程序员都或多或少接触过Github，至少是听说过吧。而Github最大的好处是在于程序员可以不用付出任何费用，可以在上面参考、借鉴甚至是照搬其他人贡献的项目，因为这一切都是开源的。另外，任何一个Github用户也可以在上面对自己感兴趣的项目做出贡献。所谓贡献，就是对已有的代码进行更正、优化、开发等操作，让项目发展得越来越棒。而且，Github的Star机制让项目的受欢迎程度得到很好的...
2019-08-18 08:11:49
738
1
原创 搭建Spark分布式集群
搭建Spark分布式集群环境：Host OS: OS X Yosemite 10.10.2VM OS: ubuntu-14.04.3-serverJava: jre-7u7-linux-x64Hadoop: hadoop-2.6.1Spark: spark-1.5.0-bin-hadoop2.61. 创建VM在Virtualbox上新建一个Ubuntu 14.04 Server VM。网
2015-09-26 16:58:55
482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人