20170928 使用网页管理集群按行读取写入useragent txt文件

最新推荐文章于 2024-04-30 14:55:33 发布

RazorH

最新推荐文章于 2024-04-30 14:55:33 发布

阅读量350

点赞数

分类专栏：日记

本文链接：https://blog.csdn.net/qq_36342616/article/details/78126577

版权

日记专栏收录该内容

22 篇文章 0 订阅

订阅专栏

根据20170901---20170903的position数据分析useragent，优化urlutil。

从集群中hdfs dfs -cat /user/log/position/20170901/*/* |awk -Furlutil'\t' 'print $8'|sort|uniq > ua.txt 导出useragent数据，写一个程序读取数据文件，把useragentid加在useragent数据后面，判断useragentid是否准备，由此优化urlutil。

20170901的useragent数据共26469条，1 其他 5527条，2 苹果手机 2216条，3 安卓手机 15809条，4 pc端 2917条。

其余两天数据分布基本一致。

按行读取写入文件

public class Uarw {

    public static void main(String[] args) {

        try {

            // read file content from file

            StringBuffer sb= new StringBuffer("");

            FileReader reader = new FileReader("/home/hzq/data/ua0903.txt");

            BufferedReader br = new BufferedReader(reader);
            
            String str = null;
            String userAgentId = null;
            
            while((str = br.readLine()) != null) {
                userAgentId = UrlUtil.getUAID(str);
                sb.append(str).append("===").append(userAgentId).append("\n");
//                System.out.println(str);、
            }

            br.close();

            reader.close();

            // write string to file

            FileWriter writer = new FileWriter("/home/hzq/data/0903userAgentId.txt");

            BufferedWriter bw = new BufferedWriter(writer);

            bw.write(sb.toString());

            bw.close();

            writer.close();

        }

        catch(FileNotFoundException e) {

            e.printStackTrace();

        }

        catch(IOException e) {

            e.printStackTrace();

        }

    }



}