将URL 转化为16进制编码

摘要：抓取数据的时候，为了避免数据重复，比较每个url是否一样，这个时候需要反复查询数据库，这个时候将url编码存入数据库，然后数据库建立索引，每次向数据库添加数据的时候，根据方法GetEncode() 将url转化为32为的字符串，然后根据这个字符串去数据库查询数据，判断有无

url  1.先base64

       2.MD5散列

       3.将内容转化为16进制

       4.进行比较

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Web.Security;


  public  class UrlEncrypt
    {
        #region
        /// <summary>
        /// url
        /// </summary>
        /// <param name="url">将url编码</param>
        /// <returns></returns>
        public static string GetEncode(string url)
        {
            string encode = EncodeBase64(url);
            string hashcode = MD5Encrypt(encode);
            string int16 = Encode(hashcode);
            return hashcode;
        }