槽点太多, 都写在注释了, 大概总结一下:
1. requests 和 urllib 不要用混了, requests 返回对象不需要打开
2. 别乱用UA, 你用的是手机的UA, 返回的是手机页面, 和你浏览器调试的页面不一样, 你能调试出来才不对了.
3. regex 要用原始字符串 r" "
4. 不要乱解析链接
5. 多熟悉一下各种库吧, 你这完全是在拼图
from bs4 import BeautifulSoup
from urllib.parse import urlparse
from urllib.request import urlopen
import requests
import re
def getLinks(url):
glinks=set()
# 完全搞不懂这一步什么意思
#includeurl=urlparse(url).scheme+"://"+urlparse(url).netloc
#session=requests.session()
# 最主要的是你这坑爹的UA, 你用手机的UA 返回的信息和浏览器是不一样的
# headers={"User-Agent":"Mozilla/5.0(iPhone;CPU iPhone OS 7_1_2 like Mac OS X)AppleWebKit/537.51.2(KHTML,like Gecko) Version/7.0 Mobile/11D257 Safari/9537.53",
# "Accpet":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q