周五发，2018-11-9

 

终究上周五没有发，恒心难得，继续勉励。

1）从周开始即在接触一些爬虫相关知识点，

爬虫最多的毋庸置疑是用python，不过也有一些用dotnet实现的爬虫，比如

1.1）手把手教你用.NET Core写爬虫(https://blog.csdn.net/u013711462/article/details/53449799)，

看了下他的github，虽然比较基础还是有点用处的。

其中用到了angleSharp的库(https://github.com/AngleSharp/AngleSharp/wiki/Examples)

1.2）python的爬虫相对比较丰富，除了有丰富的库外也有很多现成的例子。

爬取1024网站的爬虫实现(https://blog.csdn.net/ityouknow/article/details/52971986)

这篇讲了Python爬虫入门架构(https://blog.csdn.net/qq407388356/article/details/77600854)

但是这些都没有涉及到需要登录爬取等操作，好像需要借助findler在Scrapy框架下实现，尚未曾试过。

 

2）P2p 相关知识，在github上有个比较好的实现，

这个项目对应的ebook(https://www.syncfusion.com/ebooks/kademlia_protocol_succinctly)比较详细的讲述了kademlia协议及其实现(https://github.com/SyncfusionSuccinctlyE-Books/The-Kademlia-Protocol-Succinctly)

另外其作者有个项目比较好，或许可以帮我实现之前的pctool工具转为web工具。

2.1）这个项目是p2p和爬虫相结合的python项目（https://github.com/wuzhenda/simDHT），或许可以参考下。

 

3）在vs下如何实现一个项目既可以支持dotnet framework也可以支持dotnet core呢，

该文告诉你如何编辑vs项目文件（https://blog.csdn.net/starfd/article/details/78839704）；

另外经本人测试有些的dotnet framework的项目可以直接被dotnet core引用，没有不和谐的地方。反过来应该也是一样的。

猜测应该是只要这些项目没有使用对方没有的特性，这些项目应该都可以通用的。