pipreqs生成requirements.txt时出现SyntaxError: invalid character in identifier

今天想用pipreqs打包生成requirements.txt文件，摸索的过程中报了俩错，特此记录一下：

零、pipreqs的安装与用法

安装：

pip3 install pipreqs

用法：

pipreqs somedir/location

一、UnicodeDecodeError

如果有编码问题，可能会遇见这个错误：

UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position xxx: illegal multibyte sequence

这个错误。

解决方法：指定编码格式

pipreqs somedir/location --encoding=utf8

二、SyntaxError

我在解决了上面这个问题后，开心地继续打包，结果遇见了这个问题：

Traceback (most recent call last):
  File "c:\python37\lib\runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "c:\python37\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "C:\Python37\Scripts\pipreqs.exe\__main__.py", line 7, in <module>
  File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 470, in main
    init(args)
  File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 409, in init
    follow_links=follow_links)
  File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 138, in get_all_imports
    raise exc
  File "c:\python37\lib\site-packages\pipreqs\pipreqs.py", line 124, in get_all_imports
    tree = ast.parse(contents)
  File "c:\python37\lib\ast.py", line 35, in parse
    return compile(source, filename, mode, PyCF_ONLY_AST)
  File "<unknown>", line 1
    # -*- coding: utf-8 -*-
    ^
SyntaxError: invalid character in identifier

在Stack Overflow上面查了一下，发现是BOM-symbol的问题。

什么是BOM？首先了解一下BOM，字节顺序标记（英语：byte-order mark，BOM）是位于码点U+FEFF的统一码字符的名称。当以UTF-16或UTF-32来将UCS/统一码字符所组成的字符串编码时，这个字符被用来标示其字节序。它常被用来当做标示文件是以UTF-8、UTF-16或UTF-32编码的记号。【来自维基百科】。

尽管Stack Overflow上并没有给出相关解决方案，不过知道问题，就很好解决了。我首先通过读文件的方式，利用ord()函数，读到.py文件的开头不可见字符的Unicode编码是65279，然后就简单写了一个脚本，利用该脚本将文件中的chr(65279)字符删除。为了方便以后使用，写的脚本是基于命令行的，如下：

# -*- coding: utf-8 -*-
""" stripbom.py: Solve the problem about BOM """
import os
import sys
with open(sys.argv[1], 'r', encoding='utf-8') as f:
    lines = f.readlines()
    dirname, filename = os.path.split(sys.argv[1])
    file_name, extension = os.path.splitext(filename)
    new_file = os.path.join(dirname, file_name + '_strip' + extension)
    with open(new_file, 'a', encoding='utf-8') as ff:
        for line in lines:
            line = line.replace(chr(65279), '')
            ff.write(line)

然后利用pyinstaller打包，生成stripbom.exe的可执行文件，接着将这个exe文件放入系统的环境变量path中，这样在命令行中就可以运行啦：

stripbom somedir/test.py

这样在和test.py的同目录下就会生成一个以“_strip”结尾的同名文件。这个处理过的文件是没有65279的。

这样之后，我终于成功生成requirements.txt啦！！