- 博客(8)
- 收藏
- 关注
RSS订阅转载 scrapy安装教程
直接使用pip install Scrapy安装scrapy途中会出现各种错误，所以我找到了一份scrapy安装教程，按照教程来安装可能可以避免很多不必要的错误。1.安装lxml lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML。网址https://pypi.python.org/pypi/lxml/3.3.1选择对应的Python版本安装。 2
2018-03-28 15:49:14
1803
原创 pip install Scrapy报错及解决方法
pip install Scrapy在执行到“Collecting Twisted>=13.1.0 (from Scrapy)”时报错：Exception:Traceback (most recent call last).....原因：我当前的版本是pip 9.0.1，需要升级到9.0.3，通过语句“python -m pip install --upgrade pip”升级升级后再
2018-03-27 20:29:46
9800
原创 爬虫学习之路（一）
使用python爬取简书首页的文章标题和链接，存入mysql数据库如果pymysql还未安装，需要在命令行输入：pip install pymysql在运行代码前要注意：已有一个mysql数据库，并且已启动该数据库的用户名和密码有一个有权限操作的database数据库中建好要存入数据的表代码：from urllib import request from bs4 import Beautifu
2018-01-19 12:06:30
1669
原创 将HDFS中的文件映射为Hive中的表
上一篇文章中已经将服务器本地文件上传到HDFS指定文件夹中，现在要将文件中的内容存入Hive对应的表中，步骤如下。su hive //切换到hive用户create table test_hdfs_to_hive (id string, tel_num string,name string) ROW FORMAT DELIMITED FIELDS
2018-01-15 16:21:11
13977
原创 Linux上传本地文件到HDFS
上一篇文章记录了如何使用java代码将本地文件上传到HDFS中，之后我又尝试了直接使用Linux命令上传文件，过程如下。su hdfs //切换到HDFS用户cd /home/hdfs/files //进入到服务器中文件所在目录ls //查看此目录下的文件列表vim test.txt //若文件
2018-01-15 16:02:37
61290
原创 java上传本地文件到HDFS简单demo
本文整理了上传文件到hdfs的三种java代码，均已测试通过1、创建maven项目 2、pom依赖 junit junit 3.8.1 test org.apache.hadoop hadoop-client 2.7.3
2018-01-15 15:10:52
19029
1
原创 Jquery各Ajax函数学习笔记（一）
Jquery各Ajax函数学习笔记（一） AJAX 是一种与服务器交换数据的技术，可以在不重新载入整个页面的情况下更新网页的一部分。$.get()$.post()$.ajax()一、$.get(url,[data],[success]，dataType)说明：url为请求地址，data为请求数据的列表，success为请求成功后的回调函数，该函数接受两个参数，第一个为服务器返回的数据，第二
2017-12-27 15:34:30
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人