这里有110+公开的专业数据集

👆点击关注|设为星标|干货速递👆

哈喽大家好,我是俊欣

如果你不是会爬虫的技术流,那下面这110+网站可以解决你90%的数据需求。

首先,常见的公开数据网站在 https://hao.199it.com/ 都可以搜索到。

efe8c17f6ee885a473e6ef5d284f46b7.png
https://hao.199it.com/

除此之外,补充上面没有的一些网站,一共110+,按需选择:

金融财经数据

91e2146d3f9095d055035363aa3f1782.gif

  1. 同花顺数据中心(http://data.10jqka.com.cn/):提供股票债券等金融数据

  2. 和讯数据(http://data.hexun.com/):提供各种股票、基金、外汇、债券等实时数据,有付费,有免费

  3. 零壹财经(https://www.01caijing.com/data/index.htm):大大小小的网贷数据、排行榜等

  4. 金融数据网(http://www.data777.com/):提供每日的黄金、汇率、农产品、汽油价格的相关数据

  5. 萝卜投研(https://robo.datayes.com/):提供股市、证券等数据,多以数据研究报告形式展示

  6. 金融界(http://data.jrj.com.cn/):提供股市、融资等各种资金流向数据,以及丰富的财报和研报

  7. 东方财富网(http://data.eastmoney.com/cjsj/cpi.html):提供多国的股票、财税、行业、消费等大量丰富的经济数据

  8. 吉林金融网(http://jr.jl.gov.cn/jrsj/):提供吉林的融资、市场数据

  9. 搜狐证券(http://q.stock.sohu.com/mac/macdata.shtml):提供货币、外汇、行业、市场等宏观数据

  10. CCER经济金融数据库(http://new.ccerdata.cn/):提供企业财务年度数据、股票收益数据等数据库下载

  11. 香港金融管理局(https://www.hkma.gov.hk/gb_chi/market-data-and-statistics/economic-and-financial-data-for-hong-kong.shtml):提供香港的各种经济及金融数据,以宏观数据为主

  12. 世纪未来(http://www.wefore.com/show-model3-7.html):数据服务平台,提供银行业务研究、金融大数据等各种付费数据

  13. 新浪财经(http://finance.sina.com.cn/mac/):提供国内国民经济、行业信息、对外经贸、居民收入等各种宏观的经济数据

  14. 司尔亚司数据信息有限公司(http://www.ceicdata.com/zh-hans):覆盖超过195+个国家的经济数据库,数据全面但收费

  15. INSEE数据(https://www.insee.fr/en/accueil):法国统计与经济研究院公开数据

  16. 投中研究院(https://www.chinaventure.com.cn/cmsmodel/report/list.shtml):提供投资领域的分析报告,网站更新频率较高

互联网数据

c781c3f15e3ff5af67f0fb6a54000fb3.gif

营销查询

  1. 5118(http://www.5118.com/) / chinaz(http://tool.chinaz.com/):支持查询网站排名及发展趋势、百度收录情况等信息

  2. 百度指数(http://index.baidu.com/):百度旗下/以百度网民行为数据为基础的数据分享平台,支持查询需求图谱

  3. 微信指数:微信旗下/基于微信大数据分析的移动端指数,打开微信→搜索“微信指数”可用

  4. 移动观象台(http://mi.talkingdata.com/):基于移动设备用户的操作行为,提供应用、公众号排行等,以及大量数据报告

  5. 新榜(http://www.newrank.cn/public/info/list.html%3Fperiod%3Dweek%26type%3Ddata)/微小宝(http://data.wxb.com/rank)/易赞(http://www.yeezan.com/web/public/search):几款工具比较类似,支持查看公众号排行、看公众号人群画像等功能

  6. 阿里指数(http://index.1688.com/):阿里旗下/反映淘宝平台市场动向的数据分析平台

报告分析

  1. 易观智库(http://www.199it.com/archives/tag/%E6%98%93%E8%A7%82%E6%99%BA%E5%BA%93):199IT导航的母网站,权威的互联网数据平台,涵盖战略新兴产业、电商互联网、共享经济、社交营销、移动互联网以及其他互联网服务的数据及分析报告

  2. 艾瑞网(http://www.iresearch.cn/):高频率更新互联网前沿的新闻资讯、分析报告,旗下包括艾瑞指数、艾瑞咨询等

  3. 艾媒网(http://www.iimedia.cn/%23shuju):艾媒与艾瑞无关,艾媒网发布的研究报告多偏向移动互联网方向

  4. CBNDdata(http://www.cbndata.com/report):以阿里巴巴的商业数据库为基础,输出产业经济分析报告

  5. QuestMobile(http://www.questmobile.com.cn/blog.html):周期性地发布一些关于APP的研究报告

  6. 阿里研究院(http://www.aliresearch.com/blog/index/lists/tag/3831.html):阿里旗下/发布研究电商等方向趋势的数据报告,内容多与阿里相关

  7. 360研究报告(http://zt.360.cn/report/):360旗下/移动、PC、网站、企业、诈骗等安全领域的研究,以及大数据等非安全领域的研究

  8. 中国互联网信息研究中心(http://www.cnnic.net.cn/hlwfzyj/):经国家主管部门批准组建的管理和服务机构,经常发布一些有价值的互联网信息报告

  9. 中国信通院(http://www.caict.ac.cn/kxyj/qwfb/bps/):针对互联网多个行业的发展趋势,发布白皮书,角度较为宏观

  10. 中国互联网数据平台(http://www.cnidp.cn/):提供全国各地区互联网发展报告、基础数据及研究分析报告,数据及报告偏向学术性研究

  11. 清博大数据(http://www.gsdata.cn/):提供微信、微博、头条榜单数据,各种研究报告、数据报告、舆情报告及行业热点

  12. 数据观(http://www.cbdio.com/):丰富的前沿行业资讯,及部分研究报告下载

  13. 腾讯大数据(https://data.qq.com/):数据服务平台,提供调查研究、移动互联网及特色数据报告,质量较高

  14. 大数据世界(http://www.thebigdata.cn/):提供大数据相关资讯、应用案例、技术方案及资料下载

地理数据

5217c907fb6972b9158613db960a15cb.gif

水土数据

  1. 水土保持生态建设网http://www.swcc.org.cn/

  2. 黄河风情http://www.yellowriver.org/

  3. 黄河流域数据中心http://henu.geodata.cn/index.jsp

  4. 黄土高原水土保护数据库http://www.loess.csdb.cn/

  5. 数字黑河http://heihe.westgis.ac.cn/Default.aspx?tabid=106

  6. 大气科学数据库http://data.iap.ac.cn/

  7. 中国气象科学数据http://cdc.cma.gov.cn/

  8. 中国气象科学数据共享服务网http://cdc.cma.gov.cn/

  9. 全球森林土地覆盖动态http://www.fao.org/gtos/gofc-gold/

  10. FRA 2000http://edcsns17.cr.usgs.gov/glcc/fao/index.html

  11. 全球森林资源NOAAhttp://www.noaa.gov/

  12. 美国国家海洋和大气管理局NCDC http://lwf.ncdc.noaa.gov/oa/ncdc.html

  13. 美国国家气候数据中心国际水管理研究所http://www.iwmidsp.org/iwmi/info/main.asp

  14. 气候研究所http://www.cru.uea.ac.uk/

  15. 植被覆盖数据http://www.vgt.vito.be/

环境数据

c4ca82f867c3bb8c42b7314f9544dbb7.gif

  1. 黄土区农业与生态环境数据分中心http://loess.geodata.cn/

  2. 东北黑土农业生态数据库http://www.blackland.csdb.cn/default.asp

  3. 中国西部环境与生态科学数据中心http://westdc.westgis.ac.cn/

  4. 西部数据中心http://westdc.westgis.ac.cn/data

  5. 黄土高原区域数据共享运行服务中心http://loess.geodata.cn/Portal/?isCookieChecked=true

遥感数据

aab3b93bdd9691a54794c56ffa4b6505.gif

  1. 地面站RS地图查询http://cs.rsgs.ac.cn/cs_cn/query/query_map.asp

  2. 甘肃省基础地理信息中心http://www.cehuiju.gansu.gov.cn/5chcg/giscenter.asp

  3. 遥感数据网络资源http://ecology.bnu.edu.cn/gejp/student/zhj/webresource.htm

  4. 中国遥感数据网http://ids.ceode.ac.cn/GLCF http://glcf.geodata.cn/etm/Welcome.doGIS

  5. FORUM http://www.gisforum.net/

  6. 全球最大的GIS中文门户网站遥感数据共享http://ids.ceode.ac.cn/

其他自然人文数据

e118d75f5197ce9e4df7b67a12fe3271.gif


  1. 地理国情监测云平台http://www.dsac.cn/

  2. 中国资源卫星应用中心http://www.cresda.com/cn/profile.htm

  3. 中国自然资源数据库http://www.data.ac.cn/index.asp

  4. 中国科学院资源环境科学数据中心http://www.resdc.cn/resdc/first.asp

  5. 中国地球系统科学数据共享网http://www.geodata.cn:8086/Metadata/index.jsp

  6. 国家地球系统科学数据共享服务平台http://www.geodata.cn/http://pm25.in

  7. 中国空气质量监测实时数据http://pm25.in/

  8. 国际科学数据服务平台http://datamirror.csdb.cn/index.jsp

  9. 原始数据搜索https://wist.echo.nasa.gov/api

  10. 中国科学院资源环境科学数据中心http://www.resdc.cn/resdc/first.asp

  11. 世界聚集人口数据http://beta.sedac.ciesin.columbia.edu/gpw/index.jsp

  12. 光谱数据分析网站http://modis.gsfc.nasa.gov/

  13. 美国航空航天局NASAhttp://daac.gsfc.nasa.gov/

  14. 城市轨道交通http://www.ntsg.umt.edu/

  15. 人地系统主题数据库http://webpanda.iis.u-tokyo.ac.jp

影像数据

2261bcc66f2cfa0065745be83ea8af3a.gif

  1. USGS Earth Explorer(http://earthexplorer.usgs.gov/):提供Landsat、MODIS等数据

  2. ESA’s Sentinel Mission(https://scihub.copernicus.eu/dhus/%23/home):提供Sentinel系列卫星数据,可以下载欧洲航天局所属的影像数据

  3. NOAA CLASS(http://www.class.noaa.gov/):提供高品质大气数据集,包括美国国防部(DoD)、极地作战环境卫星(POES)、NOAA的地球静止环境卫星(GOES)以及其他派生数据

  4. NASA Reverb(https://reverb.echo.nasa.gov/reverb/%23utf8%3D%E2%9C%93%26spatial_map%3Dsatellite%26spatial_type%3Drectangle):提供多种类数据,包括:Aqua, Terra, Aura, TRMM, Calipso, NASA DC, JASON, ENVISAT等

  5. EOLi(https://earth.esa.int/web/guest/eoli):欧洲航天局的地球观测目录和订购服务的客户,通过Java 程序下载数据,支持的数据包括:Envisat, ERS, IKONOS, DMC, ALOS, SPOT, Kompsat, Proba, IRS, SCISAT.

  6. INPE(http://www.dgi.inpe.br/CDSR/):提供中巴资源卫星数据

  7. Bhuvan Indian Geo-Platform of ISRO(http://bhuvan.nrsc.gov.in/data/download/index.php):提供印度境内的MS-1, Cartosat,,OceanSat and ResourceSat数据以及全球的NVDI数据、南亚国家的CartoDem Version -3R1数据和北印度洋的气候数据

政府数据

58a9333ca0e7db9965ac54c57b69ae16.gif

  1. 新加坡政府公开数据(https://data.gov.sg/):提供新加坡各类数据

  2. 美国政府公开数据(https://www.data.gov/):提供美国全国各类数据

  3. 法国政府公开数据(https://www.data.gouv.fr/en/):法国政府开放数据平台

  4. 英国政府公开数据(https://data.gov.uk/):提供英国各类数据

  5. 国家数据(http://data.stats.gov.cn/):中国国家统计局权威数据

  6. 中国统计年鉴(http://www.stats.gov.cn/tjsj/ndsj/):1999年至今中国统计年鉴,国家统计局官网,提供单页Excel文件下载

  7. 中国统计信息网(http://www.tjcn.org/):全国及各级政府各年度统计公报、年鉴等,为收费数据

  8. 年鉴汪(http://www.nianjianwang.com/):全国城市统计数据搜索引擎,浏览免费,下载收费

  9. 伦敦市公开数据(https://data.london.gov.uk/):提供伦敦人口、就业、环境等各类数据

  10. 国土资源部(http://data.mlr.gov.cn/)国土资源部对外公开的信息报告,内容权威

其他细分行业数据

43b08cfb3d92399eb57420c7412cba00.gif

  1. 中研网数据(http://www.chinairn.com/data/):提供医疗、房产、制造业、服务业、零售消费、车辆等全行业数据

  2. 中国报告大厅(http://www.chinabgao.com/stat):提供各行各业的基础数据、调查报告、分析报告、预测报告,种类丰富

  3. CADMAPPER(https://cadmapper.com/):世界各大城市的DXF文件,原始数据源为OSM,NASA,USGS

  4. 亚马逊网络服务公共数据集(http://aws.amazon.com/cn/datasets/%3Fnc1%3Dh_ls):跨科学云数据平台,包含化学、生物、经济等多个领域的数据集

  5. Awesome Public Datasets(https://github.com/caesar0301/awesome-public-datasets):Github公共数据搜集项目,自然科学、社会科学覆盖较面,包含各个细分领域的数据库资源。

  6. figshare(https://figshare.com/):数据分析与研究成果共享平台。

  7. 英国公开数据浏览工具(http://ukdataexplorer.com/):James Trimble制作的英国数据可视化浏览工具集;

  8. 数据法国(https://datafrance.info/):法国各类数据的可视化呈现;

  9. DataEye(https://www.dataeye.com/report):基于国内游戏、汽车行业数据,进行多角度的行业调查报告撰写发布

  10. CBO中国票房(http://www.cbooo.cn/):基于国内票房数据,统计票房排行、上座率等信息。

  11. 易车指数(http://index.bitauto.com/):反映国内汽车销售市场,为购车者或汽车从业者提供参考的数据指数

  12. 高德地图(http://report.amap.com/detail.do%3Fcity%3D110000):支持实时查看国内交通情况,此外高德周期性提供一系列数据报告

  13. 房天下(http://fdc.fang.com/index/):提供中国指数研究院和CREIS中指数据,展示国内房地产数据情况

  14. 艺恩(http://www.entgroup.com.cn/bg.aspx):CBO中国票房数据的提供方,提供一些行业数据报告,如动漫IP价值研究报告

062ce70db662654810130d3dfcf47899.png

NO.1

往期推荐

Historical articles

【Python自动化办公】分享几个好用到爆的模块,建议收藏!

用Python制作可视化GUI界面,一键实现证件照背景颜色的替换

【干货原创】发现了一个好用到爆的数据分析利器

百万点赞怎么来?用Python制作抖音视频原来这么简单!

分享、收藏、点赞、在看安排一下?

ec44431f33ef9bbfecf694a166e6200b.gif

a57505c793c4b54c99821760d34d88ce.gif

d245f65cad82b58c0ef602d309b2c22d.gif

d2e4833e5bc2fa703e4d5f23e809a268.gif

  • 3
    点赞
  • 33
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: FLIR红外数据集是一个广泛使用的用于训练物体检测模型的数据集,其中包含了各种各样的红外图像。而Yolo是一种用于物体识别和检测的机器学习模型,它可以在很短的时间内检测出图像中的物体。 如果要将FLIR红外数据集转换为Yolo格式,需要进行以下步骤: 1. 对FLIR数据集中的图像进行预处理,并将其转换为Yolo所需的格式。这可能需要对图像进行剪裁、缩放和大小调整等操作。 2. 为每个图像中出现的物体标记出其位置和类别。这可以通过手动标注或使用自动化工具完成。(对比一下,我这里可以举一个类似的例子:将图像数据集转换为Yolo形式的步骤。) 3. 将标注数据保存为Yolo数据集格式,并生成训练和验证文件。 4. 进行训练,调整模型参数并在FLIR红外数据集上测试。 5. 评估模型性能,进一步优化算法。 总之,将FLIR红外数据集转换为Yolo需要进行数据预处理、标注和模型训练等多个步骤。及时的数据处理对于后续的模型训练有很大的影响,因此需要仔细考虑数据的格式和标注方式。 ### 回答2: Flir红外数据集是由FLIR Systems Inc.提供的一个用于红外热成像数据研究的数据集。该数据集包含多个红外热成像图像,每个图像都有相应的标注信息,可以用于训练热成像图像识别模型。 转换FLIR红外数据集为YOLO格式是将数据集转换为适合YOLO目标检测算法的格式。首先,需要将原始的FLIR红外数据集转换成标准的VOC格式,包含带有标记的图像,使用OpenCV和Image labeled工具可以完成此项任务。然后使用脚本将VOC格式的数据集转换为YOLO格式,并生成相应的训练集、验证集、测试集。 将FLIR红外数据集转换为YOLO格式的关键是要正确标记每张图像中的目标。可以使用多种工具进行目标标注,例如LabelImg。标注时,需要注意每个目标的类别、位置和大小信息。完成标注后,可以使用脚本将标注数据集转换成YOLO需要的格式。 转换后的数据集可以用于训练YOLO目标检测模型,该模型可以用于热成像目标检测,如人体、车辆和动物等。使用该模型可以有效地检测热成像图像中的目标,同时能够应对各种不同的环境和场合。 ### 回答3: Flir红外数据集是用于红外图像识别的一个数据集,这个数据集中包含了大量的红外图像。要将这个数据集转换为Yolo格式,需要进行一些步骤。首先,需要准备数据集并将其标记。标记的过程需要使用专业的标记工具,例如labelImg等。然后,在将数据转换为Yolo格式之前,需要对数据进行预处理。预处理包括对图像进行缩放、旋转等操作,以使其符合Yolo格式的要求。最后,将处理后的数据集转换为Yolo格式。转换的过程需要使用脚本或工具,例如Darkflow等。转换完成后,就可以将数据集用于Yolo的训练。总的来说,将Flir红外数据集转换为Yolo格式需要一定的技术和经验,但是这个过程可以帮助我们更好地应用红外图像识别技术。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值