gerapy配置使用

gerapy配置使用

1.在主机直接安装

pip3 install -U gerapy
cd gerapy
gerapy migrate

2.创建用户

gerapy createsuperuser

root@fc991c742234:/app/gerapy# gerapy createsuperuser
Username (leave blank to use 'root'): tieyongjie
Email address:
Password:
Password (again):
Superuser created successfully.

2.docker安装

1.docker pull germey/gerapy

将镜像拉取下来之后,通过以下命令启动

docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8081:8000 germey/gerapy
2.初始化gerapy
#初始化gerapy
gerapy init
#初始化数据库
cd gerapy
gerapy migrate
3.创建用户
gerapy createsuperuser

root@fc991c742234:/app/gerapy# gerapy createsuperuser
Username (leave blank to use 'root'): tieyongjie
Email address:
Password:
Password (again):
Superuser created successfully.

注:邮箱可以不输入

账号:tieyongjie

pass:

4.查看用户
sqlite
sqlite> .tables
auth_group                             core_monitor
auth_group_permissions                 core_project
auth_permission                        core_task
auth_user                              django_admin_log
auth_user_groups                       django_apscheduler_djangojob
auth_user_user_permissions             django_apscheduler_djangojobexecution
authtoken_token                        django_content_type
core_client                            django_migrations
core_deploy                            django_session

select * from tablename;

.exit 退出

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Gerapy-Selenium 是一个基于 Gerapy 框架的插件,用于在爬虫中使用 Selenium 进行动态网页的爬取。下面是使用 Gerapy-Selenium 的步骤: 1. 安装 Gerapy-Selenium: ``` pip install gerapy-selenium ``` 2. 在 Gerapy 项目中创建一个爬虫(如果已有爬虫可跳过此步骤): ``` gerapy startproject myproject cd myproject gerapy crawl myspider ``` 3. 在 Gerapy配置 Selenium: 在 Gerapy 项目的 `settings.py` 文件中添加以下配置: ```python SELENIUM_DRIVER_NAME = 'chrome' # 使用的浏览器,支持 chrome、firefox、phantomjs SELENIUM_DRIVER_EXECUTABLE_PATH = '/path/to/driver' # 浏览器驱动的路径 SELENIUM_DRIVER_ARGUMENTS = ['--headless'] # 浏览器启动参数,可选 ``` 4. 在 Spider 中使用 Selenium: 在 Spider 的 `spiders/myspider.py` 文件中导入 `SeleniumRequest`: ```python from gerapy_selenium import SeleniumRequest ``` 然后可以在 Spider 中使用 `SeleniumRequest` 发送请求,例如: ```python def start_requests(self): yield SeleniumRequest(url='http://example.com', callback=self.parse) def parse(self, response): # 使用 response.meta['driver'] 来操作浏览器 driver = response.meta['driver'] # 使用 driver.find_element 等方法进行元素定位和操作 title = driver.find_element(By.XPATH, '//h1').text yield {'title': title} ``` 在上述例子中,`SeleniumRequest` 会自动创建一个浏览器实例,并将该实例传递给回调函数的 `response.meta['driver']` 中,可以通过该驱动对象进行元素定位和操作。 这样就可以在 Gerapy使用 Selenium 进行动态网页的爬取了。注意,使用 Gerapy-Selenium 时需要安装对应浏览器的驱动,例如 Chrome 需要下载 ChromeDriver,Firefox 需要下载 geckodriver,并将驱动的路径配置到 `SELENIUM_DRIVER_EXECUTABLE_PATH` 中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值