本文介绍了如何在Linux环境中合并多个文本文件，并通过cat命令实现。内容包括将/home/user/sougou目录下的500个1M文本文件合并为sougouall.txt。接着，文章展示了使用sed命令删除每行首尾的方括号，以便进行JSON格式的数据处理，为使用Hive的get_json_object函数做准备。
合并文件：
当一个文件夹下有很多的较小的文本文件，我们希望将其合并成一个文件，可以使用cat 文件夹名/* > 文件名
如/home/user/sougou/目录下有500个1M大小的文本文件，我们希望将其合并成一个文件：
先cd到家目录下：cd /home/user
然后合并文件：cat sougou/* > sougouall.txt
执行以上命令后我们将在/home/user/目录产生一个sougouall.txt的文本文件
对数据的处理：删除每行第一个和最后一个字符
现在我们已经有了sougouall.txt的数据，但是sougouall.txt文件是json格式的，每一行都形如：[{"name":"zhang","age":"21","sex":"M"}] ，而我想通过hive中的get_json_object函数操作这些数据，所以我希望去掉每一行第一个 [ 以及最后一个 ]，可以使用一下命令：
最低0.47元/天 解锁文章
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
