笨鸟的平凡之路-CentOS6.5下搭建Scrapy环境

前言

Linux通常自带的有Python2的环境,此时如果想使用Python3,但是因为Python2被很多其他应用关联,所以我们不能破坏原有的Python2的环境。

1、安装Python3和pip环境

参考:
Linux(Centos)下安装Python3.6和pip
安装好python3和pip后,升级pip(如果pip的版本太老,很多包都无法安装。)

[root@cm local]# python3 -m pip install --upgrade pip

在这里插入图片描述


2、安装Scrapy

[root@cm local]# pip install w3lib
[root@cm local]# pip install twisted
[root@cm local]# pip install lxml
[root@cm local]# pip install scrapy

3、验证scrapy是否安装成功

[root@cm local]# python3
>>> import scrapy

如图:
在这里插入图片描述
未出现错误,则表示scrapy安装成功。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是在 Ubuntu 系统上搭建 HBase 伪分布式环境的步骤。 1. 安装 Java HBase 是基于 Java 开发的,所以需要先安装 Java。可以通过以下命令安装: ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载 HBase 可以从 HBase 官网下载最新版本的 HBase,也可以使用以下命令下载 HBase 1.4.10 版本: ``` wget https://archive.apache.org/dist/hbase/1.4.10/hbase-1.4.10-bin.tar.gz ``` 3. 解压缩 HBase 使用以下命令解压缩下载的 HBase 压缩包: ``` tar xzf hbase-1.4.10-bin.tar.gz ``` 4. 配置 HBase 进入解压后的 HBase 目录,编辑 hbase-site.xml 文件: ``` cd hbase-1.4.10/conf sudo nano hbase-site.xml ``` 在 hbase-site.xml 文件中添加以下配置: ``` <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/用户名/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/用户名/zookeeper</value> </property> <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> </configuration> ``` 其中 hbase.rootdir 表示 HBase 数据的存储路径,hbase.zookeeper.property.dataDir 表示 ZooKeeper 数据的存储路径。 5. 启动 HBase 进入 HBase 的 bin 目录,执行以下命令启动 HBase: ``` ./start-hbase.sh ``` 启动成功后,可以通过以下命令查看 HBase 状态: ``` ./status-hbase.sh ``` 6. 启动 HBase Shell 执行以下命令启动 HBase Shell: ``` ./hbase shell ``` 7. 创建表格 在 HBase Shell 中执行以下命令创建表格: ``` create 'mytable', 'cf' ``` 其中 mytable 是表格的名称,cf 是列族的名称。 8. 插入数据 在 HBase Shell 中执行以下命令插入数据: ``` put 'mytable', 'row1', 'cf:col1', 'value1' ``` 其中 row1 是行键的名称,cf:col1 是列的名称,value1 是值。 9. 查询数据 在 HBase Shell 中执行以下命令查询数据: ``` get 'mytable', 'row1' ``` 其中 row1 是要查询的行键的名称。 以上就是在 Ubuntu 系统上搭建 HBase 伪分布式环境的步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值