指定用户名和密码git clone项目

https://blog.51cto.com/u_11259325/3093668

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Cola是一个分布式的爬虫框架,用户只需编写几个特定的函数,而无需关注分布式运行的细节。任务会自动分配到多台机器上,整个过程对用户是透明的。pip install pyyaml安装下载或者用git clone源码,假设在目录/to/pth/cola,将该路径添加到Python path中。一种简单的方法是在site-packages中添加pth文件。site-packages因系统而异,如果是windows,假设python 装在C:\python27,那么就是C:\python27\Lib\site-packages;如果是linux,那么应该是/usr/local /lib/pythonX.X/dist-packages。在site-packages下新建一个cola.pth文件,里面写上路径:/to/path/cola。Cola目前自带了若干个爬虫,在项目根目录下的contrib中。下面就wiki为例,分别说明如何在单机和分布式环境下运行。依赖无论是维基百科还是新浪微博的实现,数据都存放在MongoDB中,所以要确保MongoDB的安装。在wiki下的wiki.yaml和weibo下的weibo.yaml中可以配置MongoDB的主机和端口。维基百科和新浪微博实现依赖于下面的几个包:mechanizepython-dateutilBeautifulSoup4mongoenginersa(仅新浪微博需要)可以使用pip或者easy_install来安装。单机模式单机模式非常简单,只需运行contrib/wiki/__init__.py即可。cd /to/path/cola/contrib/wiki python __init__.py要运行新浪微博的爬虫,需要在weibo.yaml中配置登录的用户名密码。这里要注意,要保证这个用户名密码在登录时不需要验证码。停止则需运行stop.py,注意不能通过直接杀死进程来停止,否则会导致cola非法关闭。 如果非法关闭,确保cola不在运行的情况下,则可以运行stop.py来恢复。但无论如何,都不推荐非法关闭,否则可能遇到不可预知的错误。python stop.py分布式模式首先需要启动cola master和cola workers。分别运行根目录下bin中的start_master.py和start_worker.py启动cola master:cd /to/path/cola python bin/start_master.py --data /my/path/data如果不指定--data,那么数据文件会放置在项目根目录下的data文件夹中。启动cola worker:python bin/start_worker.py --master <master ip address> --data /my/path/data--data选项同master。如果不指定master,会询问是否连接到本机master,输入yes连接。最后使用bin下的coca.py来运行指定的Cola job:python bin/coca.py -m <master ip address> -runLocalJob /to/path/cola/contrib/wiki-runLocalJob选项是要运行的job所在文件夹的绝对路径。输入命令后,该job会被提交到Cola集群来运行。停止Cola Job或集群停止整个集群,则可以运行:python bin/coca.py -m <master ip address> -stopAll而停止一个Job,则需要查询得到Job的名称:python bin/coca.py -m <master ip address> -showRunningJobsNames得到名称后,再运行:python bin/coca.py -m <master ip address> -stopRunningJobByName <job name>基于Cola实现的爬虫基于Cola实现的爬虫位于contrib/目录下。目前实现了四个爬虫:wiki:维基百科。weibo:新浪微博爬虫。从初始用户出发,然后是其关注和粉丝,依次类推,抓取指定个数的新浪微博用户的微博、个人信息、关注和粉丝。其中,用户微博只获取了内容、赞的个数、转发和评论的个数等等,而没有具体去获取此微博被转发和评论的内容。generic(unstable):通用爬虫,只需配置,而无需修改代码。目前Cola实现了一个抽取器(cola/core /extractor),能够从网页正文中自动抽取主要内容,即去除类似边栏和底脚等内容。但是,此抽取器目前准确度还不够,效率也不够高,所以需要谨慎 使用。weibosearch(unstable):新浪微博搜索的爬虫。这个爬虫使用 cola.core.opener.SpynnerOpener,基于spynner实现了一个Opener能够执行JavaScript和Ajax代 码。目前这个爬虫存在的问题是:新浪微博可能会将其识别成机器人,因此有可能会让输入验证码。wiki和weibo之前有所提及。主要说明generic和weibosearch。对于generic来说,主要要修改的就是配置文件:job:   patterns:     - regex: http://blog.sina.com.cn/$       name: home       store: no       extract: no     - regex: http://blog.sina.com.cn/s/blog_.       name: article       store: yes       extract: yes其中,regex表示要匹配的url的正则表达式;name是正则匹配的名称;store为yes时是存储这个网页,no为不存储;extract表示是否自动抽取网页正文,只有当store为yes的时候,extract才有作用。对于weibosearch,其使用了spynner来执行JavaScript和Ajax代码。所以需要确保以下依赖的安装:PyQt4(>=4.4.3)spynner如果你觉得可以基于cola实现一个比较通用的第三方爬虫,比如说腾讯微博等等,欢迎将此爬虫提交到contrib/中。编写自定义Cola Job见wiki编写自定义Cola Job。架构和原理在Cola集群里,当一个任务被提交的时候,Cola Master和Worker会分别启动JobMaster和JobWorker。对于一个Cola Job,当JobWorker启动完成后,会通知JobMaster,JobMaster等待所有JobWorker启动完成后开始运行Job。在一个 Cola Job启动时,会启动一个消息队列(Message Queue,主要操作是put和get,worker抓取到的对象会被put到队列中,而要抓取新的对象时,只要从队列中取即可),每个 JobWorker上都存在消息队列节点,同时会有一个去重模块(bloom filter实现)。Cola还不够稳定,目前会处于持续改进的状态。且Cola还没有在较大规模的集群上测试,但是接下来我会把Cola应用到新项目中,并逐步完善。也希望大家也能给我反馈,并帮助改进。Roadmap0.1版本正式推出前不会再增加新的功能了,主要目标让Cola更加稳定,并且提高cola/core/extractor的性能和精确度,完善contrib/generic和contrib/weibosearch。0.2版本计划:实现一个web接口,可以查看运行的cola job以及运行情况简化安装,支持easy_install或者pip安装。增加解决依赖库安装的机制。0.3版本计划:增加一个统一持久化抽象,支持保存到关系型数据库,MongoDB,文件系统,HDFS等等。0.4版本计划:支持Python 3 标签:Cola
【资源说明】 1、基于java开发的开源网址导航网站项目源码+数据库+项目说明.zip 2、该资源包括项目的全部源码,下载可以直接使用! 3、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目,作为参考资料学习借鉴。 4、本资源作为“参考资料”如果需要实现其他功能,需要能看懂代码,并且热爱钻研,自行调试。 基于java开发的开源网址导航网站项目源码+数据库+项目说明.zip ## 运行 克隆代码: ```shell git clone git@github.com:Nikati/WebStack-XML-Guns.git ``` 编辑配置: ``` application.yml ``` ``` 上传文件路径,注意windows环境和linux环境: file-upload-path 如需显示初始网站图标请把Webstack-Guns/src/main/webapp/static/tmp下的图片复制到上传文件路径 ``` ``` c:/tmp 数据库连接,用户名密码: url username password ... ``` 新建数据库(utf8mb4),导入数据: ```shell webstack.sql ``` maven打包或者IDE启动服务: ```shell $ java -jar Webstack-Guns-nkt-1.0.jar ``` 启动完成:http://127.0.0.1:8000 ## docker 方式部署 ### 下载镜像 ```bash docker pull codecly/webstack-guns-nkt-docker ``` 要修改的配置主要是mysql数据库连接和图片的上传位置。 可以在 docker run -e 指定环境变量的方式,也可以使用 -v /path/to/application.yml:/root/webstack/config/application.yml 的方式映射配置文件 ### 使用 docker run -e 方式设置环境变量 支持设置的环境变量有 环境变量名称|环境变量说明|默认值 --|--|-- IMAGE_UPLOAD_PATH|图片上传路径(容器中)|/root/webstack/file DB_HOST|数据库主机|127.0.0.1 DB_PORT|数据库端口|3306 DB_DATABASE|数据库名称|webstack DB_USERNAME|数据库用户名|root DB_PASSWORD|数据库密码|root 示例: ``` docker run -itd \ -e DB_DATABASE=webstack \ -e DB_HOST=192.168.211.28 \ --name webstack \ -p 8000:8000 \ codecly/webstack-guns-nkt-docker ``` ### 使用 docker run -v 方式映射配置文件 首先在宿主机创建并修改配置相关文件 /path/to/config/application.yml , 示例文件[application-example.yml](./src/main/resources/application-example.yml) 主要修改: ``` guns.file-upload-path spring.datasource.url spring.datasource.username spring.datasource.password ``` 运行容器示例: ``` docker run -itd \ -v /path/to/config:/root/webstack/config \ -v /path/to/file=/root/webstack/file \ --name webstack \ -p 8000:8000 \ codecly/webstack-guns-nkt-docker ``` ## 使用 后台地址:http://domain/admin 默认用户:admin 默认密码:111111 在线demo: https://zywhs.club/ ![主页](/screen/2.png) ![分类](/screen/3.png) ![网站](/screen/4.png)
zatree 是来自国内58公司开发的监控软件zabbix的一个插件,主要功能是提供host group的树形展示和在item里指定关键字查询及数据排序。 安装方法: 1:下载文件 git clone https://github.com/spide4k/zatree.git zatree 2:复制相关文件 假如zabbix web目录位置在/var/www/zabbix,定义zabbix目录 ZABBIX_PATH=/var/www/zabbix 复制相关文件和目录 cp -rf zatree $ZABBIX_PATH/ cd $ZABBIX_PATH/zatree/addfile cp class.cchart_zabbix.php class.cgraphdraw_zabbix.php class.cimagetexttable_zabbix.php $ZABBIX_PATH/include/classes/ cp zabbix.php zabbix_chart.php $ZABBIX_PATH/ cp CItemValue.php $ZABBIX_PATH/api/classes/ 3:支持web interface,修改配置文件 vi $ZABBIX_PATH/zatree/zabbix_config.php 'user'=>'xxx', //你的用户名 'passowrd'=>'xxx', //你的密码 4:导航增加Zatree入口,修改menu.inc.php,main.js vi $ZABBIX_PATH/include/menu.inc.php 添加285行到294行内容 'zatree'=>array( 'label' => _('zatree'), 'user_type' => USER_TYPE_ZABBIX_USER, 'default_page_id' => 0, 'force_disable_all_nodes' => true, 'pages' =>array( array('url' => 'zabbix.php','label' => _('Zatree'),) ) ), 'login' => array( 'label' => _('Login'), 'user_type' => 0, 'default_page_id' => 0, vi $ZABBIX_PATH/js/main.js 替换106行 menus: {'empty': 0, 'view': 0, 'cm': 0, 'reports': 0, 'config': 0, 'admin': 0, 'zatree':0}, 6:增加封装的api类 vi $ZABBIX_PATH/include/classes/api/API.php 在74行下添加75行'itemvalue'=>'CItemValue', 'usermedia' => 'CUserMedia', 'itemvalue'=>'CItemValue', 'webcheck' => 'CWebCheck' ); 7:登陆zabbix,在导航里可以看到一个Zatree的菜单,使用方法是傻瓜的

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值