CS109 Lecture 7

最新推荐文章于 2022-09-03 16:00:01 发布
最新推荐文章于 2022-09-03 16:00:01 发布
阅读量707 收藏
点赞数
分类专栏： Data Science 文章标签： CS109
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014135091/article/details/52066700
版权

CS109 Lecture 7

Data Scraping

Sources
  • From a Web Sites
  • With An API
Copyrights and permission
  • Be careful and polite
  • Give credit
  • Care about media law
  • Don’t be evil
Useful tags
<h1></h1>
<p></p>
<br>
<a href = 'url'>Link</a>

Useful Libraries for Scraping

  • urllib
  • beautifulsoup
  • pattern
  • LXML

Get Data From Website

url = 'url'
scource = urllib2.urlopen(url).read()
soup = bs4.BeautifulSoup(source)
soup.findAll('a') # find <a><\a> tag
tag = soup.find('a')
tag.get('href')
C = soup.findAll('p',{'class':'Event'})
t=C[0] 
t.findNextSiblings

Get Data With An API

import json # JavaScript Obejct Notation
import requests
api_key = 'mykey'
url = 'url' + api_key
scource = urllib2.urlopen(url).read()
#---simple example--------
a = {'a':1,'b':2}
s = json.dump(a) 
a2 = json.loads(s) 
#-------------------------
dataDict = json.loads(data)
dtatDict.keys()
ZJun310
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Stanford CS109 Probability for Computer Scientists Lecture Notes
12-30
Stanford CS109 Probability for Computer Scientists Lecture Notes
Stanford-CS109-Notes:斯坦福大学CS 109概率课程的全面排版说明
05-26
斯坦福CS 109笔记 由Mehran Sahami教授的斯坦福大学CS 109概率课程的综合说明。 使用MacTeX发行版中的在LaTeX中进行排版。 distros.[tex|pdf]是本课程涵盖的所有随机变量的摘要。 studysheet.[tex|pdf]是本课程涵盖的（几乎）所有概念的总体摘要，直到有关有用不平等的“有用定理”讲座为止。 如果您有任何疑问或意见，请随时与我联系，非常欢迎提出要求。
CS109: Probability for Computer Scientists, Summer 2022笔记合集
维生素C吃多了会上火
09-03 255
CS109: Probability for Computer Scientists, Summer 2022
斯坦福CS课程列表
骑着蜗牛去旅行的博客
07-03 1万+
http://exploredegrees.stanford.edu/coursedescriptions/cs/ CS 101. Introduction to Computing Principles. 3-5 Units. Introduces the essential ideas of computing: data representation, algorithms,
CS229 Lecture Notes
08-28
CS229 Lecture Notes
CS229 Lecture notes
10-30
Generative Learning algorithms So far, we’ve mainly been talking about learning algorithms that model p(y|x; θ), the conditional distribution of y given x. For instance, logistic ...
CS231N_LECTURE
10-25
CS231N的笔记（PDF格式），方便一边看视频一遍对照，知乎貌似有中文的翻译
CS224d-Lecture7
09-27
TensorFlow Tutorial CS224d-Lecture7 as tensorflow
data science cs109 homework1
xiayeqianfeng的博客
10-26 369
1.python及其第三方库的引入 想要用python学习机器学习，就需要配置python及其很多的第三方库，data science的老师在homework中给出了详细的需要下载的第三方库的列表：#IPython is what you are using now to run the notebook import IPython print "IPython version: %6
斯坦福大学资源
女王の专属领地
04-16 3817
斯坦福大学网站：https://cs.stanford.edu/courses/schedules/2017-2018.autumn.phpCourseTitleInstructorTimeRoomcs1CIntroduction to Computing at StanfordSmithby arrangementcs1UPractical UnixZelenski/SarkaTTh 1:30-...
SQL 基础
热门推荐
ZJun Thinking
10-03 2万+
常用代码（选择全部）SELECT * from celebs; （创建表格）CREATE TABLE celebs (id INTEGER, name TEXT, age INTEGER); （插入行数据）INSERT INTO celebs (id, name, age) VALUES (1, 'Justin Bieber', 21); （选择某列）SELECT name FROM celebs;
（相似度、邻近及聚类）Similarity, Neighbors, and Clusters
ZJun Thinking
09-01 1万+
主要内容： 相似度（Similarity） （can be used for classification and regression） 距离函数（Distance Function） Nearest - Neighbor Hierarchical Clustering K-Mean —————————————————————————————————— （一）相似度 相似度是很多数
天池竞赛-淘宝穿衣搭配（数据预处理部分）
ZJun Thinking
10-23 5572
赛题简介淘宝网是中国深受欢迎的网购零售平台，其中服饰鞋包行业占据市场的绝大部分份额，围绕着淘宝诞生了一大批优秀的服饰鞋包导购类的产品。穿衣搭配是服饰鞋包导购中非常重要的课题，它所延伸出的技术、算法能广泛应用到大数据营销几乎所有场景中，如搜索、推荐和营销服务。淘宝穿衣搭配算法竞赛将为参赛者提供搭配专家和达人生成的搭配组合数据，百万级别的淘宝商品的文本和图像数据，同时还将提供用户的脱敏行为数据。期待参赛
（过拟合及其防治）Overfitting and Its Avoidance
ZJun Thinking
08-28 1388
Chapter 5.总结 2015年8月27日 19:05 主要内容： Overfitting（问题） 判断和防止overfitting 的方式 ——————————————————————————————————   过度拟合的模型往往不能进行一般化推广（generalization）   拟合问题需要在两个方面进行权衡     需
(决策分析思考)Decision Analytic Thinking
ZJun Thinking
09-05 1204
主要内容： 准确度评判标准的缺陷 The Confusion Matrix 非均衡类别的问题 Data-Analytic Thinking 分析框架：期望值 模型评判的基准（Baseline）   ———————————————————————————————————————————————   （一）准确度评判标准的缺陷    首先需要肯定的是准确度（plain accu
（文本表示及挖掘）Representing and Mining Text
ZJun Thinking
09-16 1046
主要内容：1. Text data 2. Bag of words 3. N-gram sequence 4. Text mining 案例 (一) text data文本数据（Text data ）的特点 Unstructured data （非结构化数据） Linguistic structure（语言结构）——NLP （自然语言处理） 文本数据的缺陷（Text data’s problem
[Enthought Traning] Scientific Computing in Python
ZJun Thinking
08-31 1013
Enthought TraningScientific ComputeringData InterpolationNormal Interpolation
（可视化模型表现）Visualizing Model Performance
ZJun Thinking
09-08 976
Stakeholders outside of the data science team may have little patience for details, and will often want a higher-level, more intuitive view of model performance.    It is important for the data sc
补全以下代码private String cid;// Course id, e.g., CS110. private String name;// Course name, e.g., Introduce to Java Programming. private Integer credit;// Credit of this course private GradingSchema gradingSchema; //Grading schema of this course // enum GradingSchema{FIVE_LEVEL, PASS_FAIL} private Integer capacity;// Course capacity. private Integer leftCapacity;// Course capacity left. You should update the left capacity when enrolling students. private Set<Timeslot> timeslots;// One course may have one or more timeslots. e.g., a lecture in Monday's 10:20-12:10, and a lab in Tuesday's 14:00-15:50. public Course(String cid, String name, Integer credit, GradingSchema gradingSchema, Integer capacity) // constructor public void addTimeslot(Timeslot timeslot) //Record a timeslot for this course private Integer id;// A unique student id, should be an 8-digit integer: Undergraduates' ids should start with 1; Postgraduates' ids should start with 3. e.g., 12213199. private String name;// Student’s name private Map<Course, Grade> courses;// Enrolled courses, using Map structure to store course and its grade as a pair. Grade is an enum type enum Grade{PASS,FAIL,A,B,C,D,F}with an attribute: Double gradePoint protected Student(Integer id, String name) // constructor public abstract boolean canGraduate() // Checks if this student satisfies all the graduating conditions. Hint: you are allowed to change this abstract method into non-abstract to check if the student satisfies the common graduation conditions. public void enroll(Course course) // Tries to enroll the course, do some checks before enrolling. public void recordGrade(Course course, Grade grade)// Records the grade of a course that is current learning. public double getGpa() // Calculates the GPA for this student. public UndergraduateStudent(Integer id, String name)// constructor public boolean canGraduate() //Additional graduating conditions for undergraduate students public PostgraduateStudent(Integer id, String name)// constructor public boolean canGraduate() //Additional graduating conditions for postgraduate students
最新发布
06-02
// Course id, e.g., CS110. private String name;// Course name, e.g., Introduce to Java Programming. private Integer credit;// Credit of this course private GradingSchema gradingSchema; //Grading ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值