学习笔记
文章平均质量分 61
猪老大唯一官方认证
这个作者很懒,什么都没留下…
展开
-
pip install Scrapy报错及解决方法
pip install Scrapy在执行到“Collecting Twisted>=13.1.0 (from Scrapy)”时报错:Exception:Traceback (most recent call last).....原因:我当前的版本是pip 9.0.1,需要升级到9.0.3,通过语句“python -m pip install --upgrade pip”升级升级后再原创 2018-03-27 20:29:46 · 9961 阅读 · 0 评论 -
scrapy安装教程
直接使用pip install Scrapy安装scrapy途中会出现各种错误,所以我找到了一份scrapy安装教程,按照教程来安装可能可以避免很多不必要的错误。1.安装lxml lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。网址https://pypi.python.org/pypi/lxml/3.3.1选择对应的Python版本安装。 2转载 2018-03-28 15:49:14 · 1816 阅读 · 0 评论 -
爬虫学习之路(一)
使用python爬取简书首页的文章标题和链接,存入mysql数据库如果pymysql还未安装,需要在命令行输入:pip install pymysql在运行代码前要注意:已有一个mysql数据库,并且已启动该数据库的用户名和密码有一个有权限操作的database数据库中建好要存入数据的表代码:from urllib import request from bs4 import Beautifu原创 2018-01-19 12:06:30 · 1682 阅读 · 0 评论 -
java上传本地文件到HDFS简单demo
本文整理了上传文件到hdfs的三种java代码,均已测试通过1、创建maven项目 2、pom依赖 junit junit 3.8.1 test org.apache.hadoop hadoop-client 2.7.3原创 2018-01-15 15:10:52 · 19086 阅读 · 1 评论 -
将HDFS中的文件映射为Hive中的表
上一篇文章中已经将服务器本地文件上传到HDFS指定文件夹中,现在要将文件中的内容存入Hive对应的表中,步骤如下。su hive //切换到hive用户create table test_hdfs_to_hive (id string, tel_num string,name string) ROW FORMAT DELIMITED FIELDS原创 2018-01-15 16:21:11 · 14065 阅读 · 0 评论 -
Linux上传本地文件到HDFS
上一篇文章记录了如何使用java代码将本地文件上传到HDFS中,之后我又尝试了直接使用Linux命令上传文件,过程如下。su hdfs //切换到HDFS用户cd /home/hdfs/files //进入到服务器中文件所在目录ls //查看此目录下的文件列表vim test.txt //若文件原创 2018-01-15 16:02:37 · 61357 阅读 · 0 评论 -
Jquery各Ajax函数学习笔记(一)
Jquery各Ajax函数学习笔记(一) AJAX 是一种与服务器交换数据的技术,可以在不重新载入整个页面的情况下更新网页的一部分。$.get()$.post()$.ajax()一、$.get(url,[data],[success],dataType)说明:url为请求地址,data为请求数据的列表,success为请求成功后的回调函数,该函数接受两个参数,第一个为服务器返回的数据,第二原创 2017-12-27 15:34:30 · 360 阅读 · 0 评论 -
爬虫学习之路(二)
爬取房天下新房和二手房网页中的房屋信息,如地址、面积、单价、坐标等原创 2018-02-02 10:22:59 · 672 阅读 · 0 评论