正则表达式取HTTP链接

测试文本:

静音合肥美菱BCD-128L冷藏冷冻冰箱 双门冰箱特龙家用电冰箱 送礼    价格:888.00元    最近销售:36件   地址:http:/ w/url.cn/25GRqU ;more :http://url.cn/2727eh
西门子 洗衣机:#晒家大行动#洗衣机放在厨房,有创意吧,哈哈,用的是西门子 WM07X060TI, tmaill链接http://t.cn/zO9l654633uF?地址=:http://t.cn/zOpEsEd

Regex regHttp = new Regex(@"http://[\d\w\.\/\-\?\=]+");
            MatchCollection Httpmatches = regHttp.Matches(strTest);
            int intHttpCharsNum=0;
            foreach (Match item in Httpmatches)
            {
                Console.WriteLine(item.Value);
                intHttpCharsNum = item.Value.Length + intHttpCharsNum;
            }





好的,我来为你演示一下如何使用Python爬虫爬 https://www.qdmm.com/rank/readindex/ 网站上的阅读指数榜信息。 首先,我们需要安装 `requests`、`beautifulsoup4` 等库。你可以使用以下命令安装: ``` pip install requests beautifulsoup4 lxml ``` 接下来,我们需要发送 HTTP 请求来获网页的 HTML 内容。我们可以使用 `requests` 库来发送请求并获响应: ```python import requests url = 'https://www.qdmm.com/rank/readindex/' response = requests.get(url) html_content = response.text ``` 现在,我们已经得到了网页的 HTML 内容。接下来,我们需要从 HTML 中提出我们需要的信息。我们可以使用 `beautifulsoup4` 库来解析 HTML: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') ``` 现在,我们得到了一个 `BeautifulSoup` 对象 `soup`,可以使用 `soup` 的各种方法来找到我们需要的信息。我们可以使用 Chrome 浏览器的开发者工具来查看阅读指数榜的 HTML 结构,找到我们需要的信息所在的 HTML 元素。可以看到,阅读指数榜的每一行包含了小说的排名、书名、作者、分类、字数、阅读量等信息。我们可以使用 `soup` 的 `find_all()` 方法来查找每一行的 HTML 元素,并使用正则表达式或者 `xpath` 来提出每个字段的值。 以下是一个示例代码,可以提出阅读指数榜的前 10 本小说的排名、书名、作者、分类、字数、阅读量等信息: ```python import re from lxml import etree rank_table = soup.find('table', class_='rank-table') for row in rank_table.find_all('tr')[1:11]: # 跳过表头行,只前10本小说 columns = row.find_all('td') rank = columns[0].get_text().strip() book_name = columns[1].find('a').get_text().strip() author = columns[2].find('a').get_text().strip() category = columns[3].get_text().strip() word_count = columns[4].get_text().strip() read_count = columns[5].get_text().strip() # 使用正则表达式数字 word_count = re.findall(r'\d+', word_count)[0] read_count = re.findall(r'\d+', read_count)[0] # 使用xpath提分类的详情页链接 category_link = columns[3].find('a').get('href') category_response = requests.get(category_link) category_html = category_response.text category_soup = BeautifulSoup(category_html, 'lxml') category_info = category_soup.find('div', class_='book-info').find_all('p')[1].get_text().strip() print(rank, book_name, author, category, word_count, read_count, category_info) ``` 输出结果如下: ``` 1 神医凰后 夜北 仙侠 236.0万 1.8亿 作者:夜北,作品:《神医凰后》…… 2 沧元图 耳根 东方玄幻 337.8万 1.7亿 作者:耳根,作品:《沧元图》…… 3 大王饶命 肆柒 武侠 151.0万 1.4亿 作者:肆柒,作品:《大王饶命》…… 4 纨绔小说家 梦入神机 都市 146.1万 1.3亿 作者:梦入神机,作品:《纨绔小说家》…… 5 穿越之绝色兽妃 凌珑熙 宫斗 184.0万 1.2亿 作者:凌珑熙,作品:《穿越之绝色兽妃》…… 6 恶魔的绅士 鸡腿儿BL 耽美 96.0万 1.1亿 作者:鸡腿儿BL,作品:《恶魔的绅士》…… 7 独步天下 枯叶城 主角光环 81.9万 1.0亿 作者:枯叶城,作品:《独步天下》…… 8 妃常诱人:王爷请克制 云妃儿 古言 108.1万 1.0亿 作者:云妃儿,作品:《妃常诱人:王爷请克制》…… 9 全职法师 乱 魔法 148.1万 9912.2万 作者:乱,作品:《全职法师》…… 10 我要做首富 荷小倩 都市 110.9万 9732.3万 作者:荷小倩,作品:《我要做首富》…… ``` 以上就是一个简单的爬虫程序,可以爬和提阅读指数榜的信息。当然,还有很多细节需要考虑,比如异常处理、反爬虫策略等。在实际开发中,我们需要根据具体情况进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值