2018-4-17周总结

1）关键词匹配公司，字典整合成无嵌套，无多重循环
2）关键词匹配，需要注意encode编码的问题。首先判断是否是指定的编码，若不是，则转换成相应的编码，然后再匹配；
3）适当增加函数实现，特别是return的作用，利用单独写函数（包含要处理的数据及逻辑）可以直接采用if…else…语句多次return,一旦达到条件就立即返回；如果不单独写函数，这个难以实现，还会继续遍历。浪费时间；
4）直接用python的UDF处理与RDD处理，RDD处理后（group by等等)数据结构发生变换，相比udf,更为麻烦；熟悉udf,python的dataframe;;;中文字符匹配的时候，读取的hdfs文件及本地的json文件中的中文字符编码匹配不上，易得不到想要的结果，可以直接用Python，pd.read_csv()处理；
5）私有函数以及私有变量的使用；
6）web调用需要启动总的svc;
7）debug总的svc可以拉通测试，debug任何test文件；
8）规律作息！